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L'évaluation des politiques publiques est au 
cœur de toutes les réflexions sur la réforme 
de l'État. Mieux gérer l'argent public et rendre 
des comptes sur son utilisation sont des impé- 
ratifs prégnants en période de rigueur budgé- 
taire, dans une société où les exigences de 
transparence se font plus pressantes. Pour 
contribuer à l'amélioration de la gouvernance 
publique, l'évaluation ne peut se contenter 
de mesurer les coûts et les effets des poli- 
tiques, elle doit viser aussi à en éclairer les 
enjeux, la logique et les mécanismes afin de 
permettre à tous d'en devenir les acteurs 
informés et responsables. 

Ce livre présente les principes méthodolo- 
giques et les principaux outils techniques de 
l'évaluation, il propose une histoire comparée 
des pratiques et une analyse de leurs effets 
observés et potentiels. 

L'évaluation est à la fois une activité scien- 
tifique et un ensemble de mécanismes insti- 
tutionnels. Appréhender un tel objet suppose 
un va-et-vient permanent entre l'analyse 
politico-institutionnelle et la réflexion métho- 
dologique, voire épistémologique. 
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Introduction 


Selon une définition souvent citée, «l'évaluation d'une polj 
tique publique a pour objet d'apprécier l'efticacité de cette poli» 
tique en comparant ses résultats aux objectifs assignés et aux 
moyens mis en œuvre » (décret du 18 novembre 1998), Derrière 
la simplicité du concept, on devine la difficulté de l'exercice. 
L'exigonce d'évaluer, peu contestée dans son principe, se heurte 
aux objectifs flous et contradictoires de l'action publique, à La 


-difficulté de mesurer ses résultats et aux réticences des pouvoirs 


à se soumeltre à ce qui apparaît comme une forme de juge 
ment. Évaluer c'est, pour aller vite, élaborer un «relérenticl » 
— ensemble de critères opératoires el politiquement Iégitimes 
de l'efficacité et de la réussite d’une politique —, lormuler des 
questions de recherche adossées à ce référentiel et pertinentes du 
point de vue de l'action et de la décision et, enfin, y répondre 
au mieux en puisant de manière pragmatique dans les boîtes à 
outils des sciences sociales et du management sans oublier de 
faire appel au savoir pratique des acteurs. 

La pratique de l'évaluation inclut des activites techniques 
d'observation, de mesure et d'analyse, mais elle ne s’v réduit pas. 
Ce n'est pas une discipline scientifique au sens habituel du 
terme mais une activité institutionnelle, qui a vocation à 
devenir l'un des piliers de la gouvernance publique. Pavantage 
qu'un outil de connaissance, C'est une démarche guidée par un 
certain nombre d'exigences et de valeurs : rigueur, impartialité, 
transparence, souci de tenir compte de la pluralité des points de 
vue, volonté de faire prévaloir l'intérêt général. 

L'évaluation est à la mode, mais qu'en estil de son develop 
pement réel et de ses retombées concrètes ? On tentera de 
répondre à cette question sans perdre de vue la diticulte de déti- 
miter précisément le champ des activités à prendre en comple. 


Pavannatietg PES PO ENOUES pupo + 


ses promhières sont Houcs avee les autres pratiques de retour 
d'intormation elles que le suivi, le contrôle ou l'analyse de 


gestion. contrôle de contormité, 1e ben homer ine (PArANgON- 


nage), de conseil, Fexpertise, da recherche appliquée ow l'audit. 
La HOUVErnAncE publique repose CI! cHel sur mn continuum, de 
pratiques impliquant l'observalion ct Panalyse (que s'est-il 
passé 3, des préocenpations normatives (a-t-on bien fait ?) et des 
visées pratiques jcomment faire mieux ?). L'évaluation se 
distingue des différentes formes de contrôle ct d'audit par le fait 
qu'elle Sintéresse avant tout atx effets d'une action (sur ses 
aires, la société, l'économie, cte.) et non au. fonctionne- 
ment d'un service ou d'un organisme. De méme, la distinction 


benéf 


enire lovalsation et des activités dont la visée principale est de: 


produie des connaissances {etudes ct ret herches) est a priori irès 
chaire. En pratique, cependant, il ne manque pas d'exemples et 
de contestes dans lesquels CES distinctions deviennent moins 
pettes, est d'autant plus difficile de tracer des frontières nettes 
que cation est elle-même diverse, tant par ses finalités, ses 
méthodes el ses modes d'institutionnalisalion yue par les pes 
d'objets soumis à son examen, En France, l'usage à consacré an 
emploi large de l'expression 6 alugtion des politiques publiques 
alors que, aillenrs, Ies tex officiels et Jes Iravatix académiques 
ce retirent plus volontiers a l'évaluation de programine. Dans 
deux cas, ces appellations sont trompeuses an regard de la diver- 
sié des pratiques : on évalue aussi des mesures et des dispo- 
airs réglementaires, des projets, l'activité des établissements et 
organismes publics, la manière dont Padministration fait face 
à certains problèmes, ete En toute rigueur, CHAQUE cas de figure 
nécessiterait des considérations méthodologiques particulières. 
Ainsi, l'évaluation (ex enle et rétrospective) des investissements 
publics Gofrastruetures de transport, elec constitue-t-elle un 
ihème spécifique, à dominante de calcul économique, dont il 
sera peu question ici, bien que les principes d'une démarche 
d'évaluation s'y appliquent pour L'essentiel. Retenons que, dans 
cet ouvrage, l'évaluation Est, sauf précision contraire, l'examen 
d'une action publique — politique, programme, projel, Ete — 
mené dans un cadre institutionnel (plus ou moins) formalisé 
dans le but de rendre des comptes, d'améliorer cette action et/ou 
d'éclairer les décisions (notamment budgétaires) la concernant, 
Ajoutons, ce qui n'est nullement superflu, que ces finalités sont 
à terpréter à la lumière de deux idées régulatrices : la déine- 
cratie tui impose à l'évaluation d'être transparente) et l'intérêt 
géneral (qi délinit de point de vue à partir duquel on doit 


questionner l'action publique — Ce qui veut dire, au passage, 
yue Vadjectif « public » n’est pas un simple ormement). Précisons 
encore qu'il sera essentiellement question de l'évaluation ex post 
portant mir une action ayant déjà produit des ettets obser- 
vables, mème si l'évaluation est également pratiquée ex anle OÙ 
« chemin faisant = pour préparer une nouvelle mesure ou piloter 
une action. Les éludes d'impact (impact assessment), qui connais- 
sent un développement notable depuis quelques années, méri- 
teraient à elles seules un développement spécifique. Loin de se 
limiter à l'évaluation ex ante de nouvelles mesures, elles tendent 
à s'inscrire dans une démarche plus large d'aide à la décision 
incluant l'analyse des besoins et l'élaboration de scenarios alter- 
natifs. Reste que les deux démarches -— évaluation ex post et 
étude d'impact — utilisent les mêmes outils techniques. 

Le présent ouvrage est à la fois un court traité méthodolo- 
gique (chapitres 1 et u), une enquête sur les pratiques d'évalua- 
tion en lirance Cl dans le monde (chapitres m, 1 cl v), ct une 
introduction aux débals épistémologiques et politiques qui 
animent le monde de l'évaluation. Diverse par ses objets, fina- 
lités ct contextes, l'évaluation Vest aussi par les conceptions de 
la gestion publique et des sciences sociales qui la sous-tendent. 
Activité hybride, à la lois discipline, profession et pratique insti- 
tutionnalisée, elle est encore en devenir, vaste champ d'expéri 
mentations el de controverses. On fera écho à celles i sans 
donner aux débats théoriques plus- d'importance qu'ils n'en 
méritent et sans perdre de vue le caractère essenticltement 
pratique des problèmes qui se posent aux évalualeurs. 


1 / Principes méthodologiques 


L'évaluation s'applique à des objets de natures diverses (poli- 
tiques, programmes, projets...), à des niveaux géographiques 
différents (local, régional, national) et dans des domaines variés 
de l'action publique (santé, éducation, environnement, sécu 
rité, interventions économiques, etc.). Elle répond à différents 
types d'attentes : aide à la décision, compte. rendu, manage- 
ment, médialion, apprentissage. Il en résulte une grande diver- 
sité de méthodes. Pour une même politique, les informations à 
privilégier et les points de vue à prendre en compte ne seront 
pas tes mêmes selon que l'évaluation vise à l'améliorer, laci- 
liter son pilotage ou décider si elle doit où non ètre pour- 
suivie. Il n'existe pas de recette tout-terrain permettant d'évaluer 
n'importe quelle politique, mais il est possible de définir des 
principes de conduite d'une opération d'évaluation sullisam- 
ment généraux pour s'adapter à une large gamme de situations, 


Organisation et déroulement d'une évaluation 


L'évaluation est une démarche avont d'être une technique 


L'évaluation au sens du présent ouvrage utilise les études 
d'évaluation dans le cadre d'une démarche à caractère institu- 
tionnel et à visée opérationnelle. Afin de bien marquer la diffé- 
rence entre l'évaluation ainsi comprise el les activités de 
recherche qui lui sont liées, on utilise parfois l'expression de 
«recherche évaluative » pour désigner les techniques et 
méthodes des sciences sociales appliquées à l'analyse des elfels 
de l'action publique : il devient alors clair que Pévalnation ne se 
réduit pas à la recherche évaluative. 


Lyana nOn DES POLITIQUES PIHLIOUES 


Dans le domaine des politiques de lutte contre le chômage, 
par exemple, des études sur le devenir des bénéficiaires des 
mesures d'aide à l'emploi (stages de formation, contrats emploi- 
solidarité, contrats de qualification, exonéralions de charges 
sociales, cle sont régulièrement menées depuis la fin des 
annees 1070. Elles permettent de mesurer, par exemple, la part 
de ces personnes qui ont un emploi six mois (ou plus) après leur 
sortie du dispositif, Dans certains cas, il est possible de mettre 
en œuvre un protocole d'expérimentation avec échantillonnage 
aléatoire (ef: chapitre n) qui permet de mesurer scientifiquement, 
les effets produits par un programme sur la situation de $es béné- 
ficiaires, Du fait de leurs limitations techniques ct de la diver- 
gé des questions auxquelles l'évaluation doit répondre, ces 
études sont cependant rarement suffisantes. I est nécessaire, 
d'une part, de les compléter par d'autres travaux (études quali- 
tatives portant, par exemple, sur la nature des emplois créés, Ta 
perception des hénéficiaires et des employeurs ; analyses portant 
sur la mise en cruvre des mesures, etc.) et, d'autre part, de mettre 
en place un dispositif délibératif permettant la mise en perspec- 
tive des données rassemblées au regard des questions que se 
posent Je commanditaire politique et les autres parties 
prenantes. Sans se limiter à l'estimation des effets sur l'emploi 
d'une mesure particulière (par exemple, un programme de 
stage), l'évaluation ainsi conçue permet d'interroger la perti- 
nence et ta cohérence d'ensemble d'une politique au regard de 
son contexte social et de la pluralité de ses objectifs. L'e évalua- 
ton partenariale de la politique de formation professionnelle 
des demandeurs d'emploi», conduite en 2013 dans le cadre de 
la Modernisation de l'action publique (MAP, cf- chapitre iv), 
lustre cette conception de l'évaluation. Í 

Une opération de ce type n'est pas réductible à un travail de 
recherche où d'étude, Pour bien marquer ce point, il est 
commode de distinguer deux niveaux de méthode : 

— les principes méthodologiques ct déontologiques appli- 
cables a la conception, l'organisation, la conduite et la valori- 
sation de l'évaluation. C'est la « méthode processus » selon Ja 
terminologie de Lascoumes ct Setbon [199b] : il s’agit en effet 
de codifier le déroulement de l'évaluation en tant que processus 
social. Cet aspect de la méthode inclut notamment la construc- 
tion d'un dispositif de pilotage de l'évaluation, l'élaboration du 
questionnement cl du référentiel, le choix des méthodes, la 
planilication et le suivi du programme d'étude et la rédaction du 
rapport d'évaluation; 


PHINEIPES MEMODOEGIONES 9 


— les techniques de collecte, de traitement et d'intcrpréta- 
tion de l'information ainsi que les corpus scientifiques suscep- 
tibles d'être mobilisés dans le cadre d'une évaluation. Ce que les 
auteurs cités précédemment appellent la « méthode outils. 

Il n'y a évidemment pas lieu d'opposer ces deux aspects du 
travail d'évaluation. Celle-ci vise à produire une connaissance 
ulile, «appropriable » par les décideurs et acteurs de l'action 
évaluée el scientifiquement valide : on ne voit d'ailleurs pas 
comment une connaissance biaisée ou trop incertaine pourrait 
être ulile à quiconque. La prise en compte des finalités de 
l'évaluation doit influer davantage sur le choix et la formulation 
des questions à examiner que sur la tencur des réponses qui leur 
sont apportées. 


Évaluer une politique, c'est d'abord la questionner 


L'évaluation ainsi comprise n'est pas l'affaire d'un corps de 
spécialistes. C'est un processus social mettant en jeu diffé- 
rentes catégories de protagonistes : commanditaires politiques, 
fonctionnaires assurant des fonctions de maîtrise d'ouvrage, 
membres des instances d'évaluation, méthodologues ct enfin 
« chargés d'évalnation ». Ce dernier terme est parfois préféré au 
terme d'évaluateur pour désigner les professionnels chargés de 
mencer les travaux d'enquête, d'étude el de recherche nécessaires 
à l'évaluation (économistes et chercheurs en sciences sociales, 
statisticiens, experts sectoriels des politiques concernées, consul- 
tants, auditeurs ct membres de corps d'inspection). Le dévelop- 
pement de l'évaluation repose autant sur la qualification des 
commanditaires que sur celle des évaluateurs. i 

Les textes méthodologiques soulignent tous la nécessité de 
planifier le déroulement d'une évaluation et d'identifier ex-ante 
ses objectifs et les questions auxquelles elle doit répondre. Ilya 
là plus qu'une recommandation du bon sens : l'affirmation de 
la priorité des questions sur les réponses. Pour être appropriée par 
les commandilaires el, au-delà, par l'ensemble des acteurs 
concernés, cette connaissance doit ètre construite selon une 
démarche progressive ct rigoureuse distinguant soignetsement 
les questions, le choix des méthodes permettant d'y répondre 
et les réponses clles-mêmes. Comme l'indique le Petit Guide de 
l'évaluation, « Vidée de base est la suivante : il est plus facile de 
s'entendre sur des questions et sur une méthode que sur des 
réponses. Distinguer rigoureusement les différentes étapes de 
l'évaluation (les temps du questionnement, du choix des 


TO L'ÉVALUATION DIS POLITIQUES PHPLIQUES 


méthodes, de la collecte et du traitement des données, et enfin 
celui de la formulation des réponses et conclusions), permet de 
construire pas à pas les éléments d'un monde commun, 
ensemble de connaissances et de références partagées par les 
évaluateurs, les commanditaires et les autres acteurs CONCCrNes » 
ICSE, 1996a, p. 18l. 


Mandat, projet, cahier des charges 


Une action publique ne peul être valablement évaluée que 
sur l'initiative d'une autorité légitime. N'importe quel expert ou 
chercheur a certes le droit d'analyser l'impact d'une politique, 
mais il est prélérable de réserver le terme d'évaluation à des acti- 
vités qui répondent à une demande institutionnelle, Celle-ci 
peut résulter d'une obligation réglementaire (cas des fonds struc- 
turels européens, cf. chapitre nn, d'une décision de l'autorité 
politique où administrative en charge de la politique évaluée ou 
s'inscrire dans le mandat général d'une institution de contrôle 
(Cour des comptes) où du Parlement. La situation la plus 
fréquente est celle où la commande d'évaluation émane d'une 
autorité en charge de la politique. Elle n'est pas idéale du point 
de vue de l'indépendance de la démarche, mais elle offre davan- 
tage de garantie que les résultats de l'évaluation seront utilisés. 
La procedure qui part de la décision du commanditaire pour 
aboutir à la réalisation pratique des travaux d'évaluation revêt 
des formes variées selon l'ampleur et le contexte de l'évaluation. 
En dépit de la lourdeur qui peut en résulter, il est souhaitable 
de lui donner un caractère formel en marquant les principales 
étapes par des documents écrits. 

Le projet d'évaluation recouvre l'ensemble des réflexions et 
négociations qui précèdent la phase technique des études 
d'évaluation. On peut le voir comme «une séquence d'étapes 
logiques allant de la formulation des problèmes et des intérêts 
qui motivent l'évaluation jusqu’à la formulation de questions 
qui peuvent être traitées de manière analytique » ICE, 1997, 
p. 35]. L'élaboration du projet débute généralement avant 
l'envoi du mandat d'évaluation (cf infra) et la constitution de 
l'instance d'évaluation. La première tâche de celle-ci est die 
s'approprier et de compléter l'esquisse du projet contenu dans 
le texte du mandat ou en pièce jointe. Une fois définitivement 
arrété, le projet est consigné dans un document qui constitue 
la charte de l'évalualion. La notion de projet d'évaluation doit 
être distinguée de celle de plun (protocole, devis...) d'évaluation 


PRINQIPTS MÉTHONOQLDIONTS ÈI 


(evaluation design) qui renvoie plutôt à la planification d'un 
travail de recherche aux objectifs précis et limités (par exemple 
une expérimentation contrôlée). 

Le mandat d'évaluation est te document pai lequel le 
commanditaire confie la responsabilité de l'évaluation à un 
évaluateur (individu ou organisme) où à unc instance d'évalua- 
tion (en la personne de son président). « Le mandal est gênera- 
lement bref : il insiste sur les questions qui intéressent 
particulièrement le commanditaire, décrit le dispositif institu- 
tionnel et matériel de l'évaluation sans entrer dans le détail des 
méthodes, en se référant éventuellement à des documents 
complémentaires. Il peut en revanche fixer des délais pour la 
remise du rapport d'évaluation » [CSE, 1996à, p. 22]. 

L'expression de chier des charges est parlois employee pour 
désigner le projet ou le mandat. I vaudrait mieux lui conserver 
son sens précis de document servant de base à une relation 
contractuelle entre le commanditaire d'une étude spécifique ct 
un opérateur. Dans le contexte de l'évaluation, le cahier des 
charges peut concerner soit un sous-ensemble des travaux 
d'étude programmés dans le projel d'évaluation, soit l'opération 
d'évaluation dans son ensemble (lorsque sa conduite est confiée 
à un opérateur unique). 


L'élaboration du projet : prendre le temps de la réflexion 


La clarification initiale des objectifs et des différentes ĉtapes 
de l'évaluation conditionne la crédibilité et Vutilité du rapport : 
« Les évaluations qui ne sont pas bien préparées ct pilotées 
risquent de poser des problèmes de crédibilité. Cela peut réduire 
les chances d'obtenir une large approbation de leurs conclu- 
sions et recommandations de la part des porteurs d'enjeux » [CE 
1997, p. 33]. Le temps passé à bien planifier l'évaluation se 
justifie notamment par le coût d'obtention de l'information : 
« Accorder tout le soin et l'attention nécessaires au protocole 
d'évaluation permet d'économiser du temps et des ressources. 
Collecter des données par des entretiens, des observations ou 
l'analyse de documents peut être coûteux el chronophage pour 
l'évaluateur autant que paur les personnes soumises à l'évalua- 
tion » [GAO, 20134. Dans cette perspective, il peut être utile de 
mener une étude d’» évaluabilité », généralement fondée sur une 
étude de cas, dont le but est notamment d'identifier les niveaus 
de résultats pour lesquels l'évaluation est réalisable. 


HANON DES PORTIONES PERIOU S 


La réllexion prealable à l'évaluation permet d'en fixer le 
cadre, Fobjet et la méthode, soil: 

— de disparait de pilotage (le rôle et li composition de 
Finstance d'evaluation lorsqu'elle existe) ; 

l'objet de Frcolualion (parfois nommé evene — Cest-à 

dire Ie champ (institutionnel, temporel, géographique...) des acti- 
vités et mesures à prendre en compte —, les finalités el angles He 
vue de l'évaluation, le référentiel, le diagnostic préz able et les 
hypothèses de travail, la liste des questions auxquelles l'évaluation 
devra répondre (questionnement ou agenda analytique) ; 
un bilan des informations disponibles pour répondre à ces 
questions, une esquisse du programme d'étude, le profil es 
chargés d'évaluation; 


… des regles de diffusion et les modes de communication des 
résultats. 


On examine ci-après quelques-unes de ces éapes. 


Le dispositif de pilotage de l'évaluation 


L'évaluation n'étant ni pure connaissance ni pur mécanisme 
politique ow managérial, il importe d'articuler au mieux ces 
ditferentes dimensions. Cela passe par Ja mise en place d'm 
dispositif de pilotage assurant l'ajustement 
contraintes de l'action publique et des exigences d'une 
demarche de connaissance scientifiquement londée, L'impor- 
tance et la difficulté de ect ajustement appellent un travail de 
médiation entre le commanditaire ct le où les chargés d'évalua- 
tion. Un responsable administratif peut certes s'adresser directe- 
ment à un professionnel pour lui confier la réalisation d'une 
d'évaluation, Le prestataire s'engage alors à répondre aux ques- 
tions du commanditaire dans les conditions précisées dans un 
cahier des charges contractuel. Cependant, même dans les cas 
simples, la rédaction d'un document suffisamment précis pour 
orienter Je travail de l'évaluateur peut s'avérer une tâche 
complexe pour laquelle le commanditaire doil se faire assister. Si 
Von souhaite en outre accroître la crédibilité de l'évaluation ct 
laciliter son approprialion collective, la solution logique est de 
mettre en place un comité de pilotage ou, dans la termino- 
logic française, une instance d'évaluation. Mettre en place une 
instance d'évaluation pluraliste constitue li meilleure manière 
d'appliquer le principe de e pluralité » inscrit en 2006 dans la 
charte de l'évaluation de la Sociélé française de l'évalialion 
tef. conclusion) : - L'évaluation s'inscrit dans la triple logique du 
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management public, de la démocratie et du débat scientifique. 
Elle prend en compte de façon raisonnée les différents intérêts 
en presence el recucille la diversité des points de vue perti- 
nents sur l'action evaluće, qu’ils émanent d'acteurs, d'experts ou 
de toute autre personne concernée. Cette prise en compte de 
la pluralité des points de vue se traduit —- chaque fois que 
possible — pat l'association des différentes parties prenantes 
concernées par l'action publique ou par tout autre moyen appro- 
prié » ISFE, 20061. 

Une étude comparative réalisée en 1997 à partir d'un panel 
de guides méthodologiques publiés dans une dizaine de pays fait 
apparaître un clivage centre l'Amérique du Nord d'une part ( 
de comités de pilotage, mais une référence plus nette à la 
responsabilité personnelle de l'évaluateur professionnel dans la 
formulation des questions et le choix des méthodes), l'urape et 
l'Australie d'autre part (mention explicite des comitès de: pilo- 
tage) [CSE, 1998|. En dépit d'une tendance à J'homogénéisa- 
tion des pratiques, ce clivage n’a probablement pas disparu. En 
Amérique du Nord, l'évaluateur professionnel est Phomme 
orchestre de l'évaluation. Qu'il ait le profil d'un expert ou d'un 
a facilitateur », il supervise la conduite technique des études et se 
porte garant du respect des règles dévntolagiques de l'évalua- 
tion. Les manuchs d'évaluation Jui attribuent notamment le soin 
de vérifier que les intérêts du commanditaire et les points de 
vue des différents porteurs d'enjeu sont convenablement pris en 
compte. La constitution d'une instance d'évaluation n'est, donc 
pas la seule manière d'appliquer le principe de pluralité 
mentionné ci dessus. 

La France se caractérise par la tendance à considérer l'instance 
d'évaluation comme un évaluateur collectif responsable de la 
conduite de l'évaluation et de la rédaction de ses tonel isions. 
Les tailles, compositions et degrés d'instilutionnalisalion des 
instances d'évaluation sont très variables : elles peuvent être 
réduites à un petit groupe de fonctionnaires et d'experts ou, à 
l'inverse, prendre la forme d'une commission indépendante offi- 
cialisée par un texte réglementaire. L'instance d'évaluation 
typique est composée pour moitié de fonctionnaires et pour 
moitié d'experts du domaine et de « porteurs d'enjeux » ou 
u parties prenantes » (stakeholders) : élus, représentants de 
groupes ou de professions concernés par la politique, ete. Pans 
le cadre du dispositif gouvernemental français, le Conseil scien- 
titique de l'évaluation avait décrit précisément les missions de 
l'instance d'évaluation (GA encadré). 
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Le rôle de l'instance 
d'evaluation selon le Conseil 
scientilique de Fovaluation 


(USE) 


« L'instance d'évaluation est plus 
qu'un comité de pilotage : elle doit 
bénéficier d'une large responsabilité 
dans le cadre d'im mandat écrit du 
commanditaire. Plus précisément, ses 
missions sant de deux ordres : 

a) Piloter les travaux d'évalua- 
tion, c'est-à-dire, d'abord, mener à 
son terme l'élaboration du projel 
d'évaluation, traduire le questionne- 
ment évalualif dans le cahier des 
charges des études et recherche, 
passer commande el suivre les diffé- 
rents travaux d'étude, audilionner 
des "personnes ressources“, respon- 
sables administralifs, experts ou 
autres “Lémoins”, voire se déplacer 
collectivement sur le terrain... 


b) Intégrer les maïériaux de 
l'évalualion, c'est-à-dire rassembler 
des documents, réceptionner les 
recherches études commaaditées, 
valider leurs résultais, interpréter ces 
résultats au regard des autres infor- 
malions collectées (auditions ou 
informations préalablement dispo- 
nibles...), répondre aux questions 
posées par le projet d'évaluation, 
formuler des conclusions générales 
et, le cas échéant, des propositions, 
rédiger le rapport final. 

L'instance est en général le lieu 
où, par la délibération, des concu- 
sions raisonnables sont déduiles 
d'études analysées el interprétées. 
Elle doit être conçue comme un 
arbitre entre les différents points de 
vue el non comme un médiateur de 
différents intérêts qu'il conviendrait 
d'accommeder » [CSE, 19964, p. 38]. 


Pour Jean Leca, un tel dispositif a pour but de ménager à 


l'évaluation une «zone d'autonomie » vis 


taire politique : 


-ä-vis du commandi- 


« Substanticllement, l'évaluation suppose, sur la base d’une 
commande, la liberté, pour les auteurs, de redéfinir les questions 
pour les transformer en hypothèses susceplibles d'être testées et 
de rassembler et produire les informations supposées néces- 
saires à celle fin. Celte liberté s'accompagne de deux obliga- 
tions : l'évaluation doit être clairement imputable à un groupe 
responsable de l'intégration des enquêtes particulières [...}, elle 
doit clairement expliciter les méthodes employées et les ratta- 
cher à la problématique générale, aux réponses produites et aux 
sconclusions atteintes, alin de rendre la démarche suivie appré- 
hendable et discutable par tout lecteur » [ir REAP, 1993, p. 194]. 


Une institutionnalisation qui peut revêtir des formes diverses 


Le modèle que l’on vient de présenter n'est pas le seul 
possible. H arrive fréquemment que l'évaluateur professionnel 
chargé de mener la phase technique du travail d'évaluation 
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rédige lui-même les conclusions et le rapport, le comité de pilo- 
tage intervenant comme discutant. D'un autre côté, certains 
organismes cumulent les fonctions de commanditaire el de 
pilote de l'évaluation. L'évaluation des interventions des fonds 
structurels européens (cf: chapitre m) représente un autre tas de 
figure, le comité de pilotage de l'évaluation étant l'organe tech- 
nique d'un comité de suivi aux compétences plus politiques : 
« Chaque évaluation à mi-parcours devrait être guidée par un 
groupe de pilotage représentant le comité de suivi de l'interven- 
tion en cause. Le groupe de pilotage joue essentiellement un rôle 
technique. I élahorera les termes de rélérences pour l'évalui- 
tion, sélectionnera les évaluateurs, orientera l'évalualion, 
donnera son avis sur l'avant-projet de rapport et en jugera la 
qualité en vue de sa finalisation » [CE, 2003, p. 10[. Cette confi- 
guration résulte du fait que l'évaluation des programmes curo- 
péens est obligatoire et partenariale. Le comité de suivi n'est 
donc pas à proprement parler le commanditaire de l'évalua- 
tion, mais il en est le destinataire politique direct et le principal 
utilisateur. 

Dans le schéma type élaboré par le CSE, l'instance d'évalua- 
tion doit permettre la confrontation du point de vue des respon- 
sables de la politique et de points de vuc extérieurs (experts du 
domaine, acteurs sociaux concernés par la politique en tant que 
partenaires ou e bénéficiaires »). La mise en œuvie pratique de 
ce principe n’a pas été sans poser problème : les instances 
d'évaluation constituées dans le cadre des évaluations natio- 
nales de grande ampleur comportaient entre quinze et vingt 
membres (jusqu'à trente membres pour l'évaluation de la 
prévention des risques naturels majeurs), ce qui est excessif, 
compte tenu du fait que chacune des nombreuses administra- 
tions concernées tenait à être représentée. C'est pourquoi les 
dispositifs de pilotage tendent à se diversifier pour s'adapter aux 
circonstances, tout en conservant l'idée d'un portage collectif 
et pluraliste de l'évaluation. L'une des solutions consiste à 
mettre en place une organisation différenciée, avec un groupe 
de pilotage réduit et une instance plus large mobilisée aux 
moments clés de l'évaluation. Ainsi, plusieurs évaluations de 
plans de santé publique (lutte contre les maladies rares, psychia- 
trie et santé mentale) [HCSP, 2009 et 2011] ont donne licu, 
avant la rédaction du rapport final, à des « conférences d'évalua- 
tion » regroupant chaque fois plus d'une centaine d'acteurs des 

- politiques évaluées. De même, la gouvernance des évaluations 
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ancées en 2012 dans le cadre de la MAP (cf: chapitre iv) repose 
sur une pluralité d'instances aux responsabilités différenciées. 
Parfois critiquée pour sa lourdeur, l'institutionnalisalion des 
imslanees présente l'avantage de faciliter Ja socialisation et la 
dilusion des résultats des évaluations. L'instance est par excel 
ence un lieu d'apprentissage collectif où s'élabore une nouvelle 
formulation me des problèmes. Les etfets de cet apprentis- 
sage débordent largement l'impact du seul rapport d'évaluation. 
es membres d'une instance d'évaluation deviennent les plus 
efficaces e propagandistes » de ses conclusions dans leur milieu 
srofessionnel, L'existence d'une instance d'évaluation confère 
de jado une dimension participative à l'évaluation (même si ce 
n'est pas la seule manière d'organiser la prise en comple du 
int de vue des porteurs d'enjeux aux différents stades de Ta 
démarche). 

La dimension participative du travail de l'instance est 
toujours à mettre en tension avec une exigence d'impartialité. 
L'instance est une structure de travail ct non un lieu de négo- 
ciation où tous les intérêts ct points de vue devraient être 
délendus. En pratique, la volonté d'impliquer les administra- 
tions responsables d'une politique dans son évaluation 
comporte le risque de restreindre abusivemen( le champ des 
questions et des interprétations, Comme l'indique le CSE : « Un 
équilibre est à établir entre une connaissance précise des préoc- 
cupations et des analyses des administrations qui facilitera la 
réappropriation des conclusions par ces dernières, et une 
pratique de réflexion qui ne se cantonne pas dans les seules 
hypothèses qui fondent ou sous-tendent les pratiques décision- 
nelles » [CSE, 1996a, p. 38]. On peut craindre, par exemple, que 
des administrations ou groupes d'intérêts impliqués dans la mise 
en œuvre d'une politique n'éliminent a priori de leur champ de 
relledon Fhypothèse d'un abandon complet de cette politique. 

L'existence d'un mécanisme de validation de la qualité de 
l'éevalualion (Conseil national de l'évaluation, comités 2cienti- 
tiques régionaux, procédure d'examen de la qualité des rapports 
d'évaluation des fonds structurels) pent aider l'instance à se 
doter de méthodes de travail professionnelles et à se conformer 
aux exigences d'une évaluation rigoureuse. Celles-ci impliquent 
de ne pas sacrifier Ja rigueur scientifique à la nécessaire prise en 
compte du point de vue des acteurs et porteurs d'enjeux. 
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Du questionnement aux conclusions 


Porter un jugement suppose le choix d'un « angle de vue »... 


Le questionnement évaluatif n'est pas motivé par la seule 
curiosité scientifique : il est sous-tendu par des préoccupations 
d'ordre normatif (porter un jugement sur la politique) et opéra- 
tionnel (contribuer pratiquement à ce que l'action publique 
réponde plus efficacement aux besoins de la société): Dans ce 
cadre général, les finalités de l'évaluation peuvent être diverses 
tef. chapitre v). De manière plus précise, il s'agit dans chaque 
cas particulier d'identifier les attentes du commanditaire et les 
retombées souhaitables de l'évaluation. I convient en outre 
d'anticiper ses conséquences possibles pour tows les groupes 
concernés afin de prévenir d'éventuelles difficultés. L'allitude 
des acteurs de la politique vis-à-vis de l'évaluation sera diflérente 
selon l'issue qu'ils anticipent. L'évaluation peut viser seulement 
à améliorer la mise en œuvre ou le pilotage de l'action, mais 
elle débouche parfois sur des changements plus importants : 
réaménagement technique d'une procédure, reformulation de 
certains objectifs, augmentation (ou réduction) des moyens, 
mise en sommeil, arrêt ou au contraire amplification et généra- 
lisation d'un programme, Pour ne prendre qu'un exemple, une 
évaluation visant à éclairer une décision budgétaire uccordera 
pormalement.une grande importance au rapport entte le coût 
de la politique el ses résultats, c'est-à-dire à sun efficience 
(ef. infra). La phase du cycle de vie de la politique où inter- 
vient l'évaluation est également déterminante dans le choix des 
questions : les questions relatives aux conditions de mise en 
œuvre et la cohérence de la politique peuvent être examinées 
dès le début d'une action tandis que la mesure des impacts 
sociaux nécessite davantage de recul. 

Pour structurer le questionnement, on distingue habituelle- 
ment différents critères de jugement ou «angles de vue » qui 
correspondent aux principales qualités que l'évaluation peut 
attribuer à une politique. 

Pertinence : une politique se justifie par l'identification d'un 
besoin ou d'un problème de société auquel les pouvoirs publics 
se sentent tenus de faire face. Une politique sera dite pertinente 
si ses objectifs et sa « théorie d'action » sont adaptés à la nature 
du (des) problèmet(s) qu'elle est censée résoudre ou prendre en 
charge. La question de la pertinence est la plus impertinente que 
l'évaluation puisse examiner et il arrive fréquemment qu'elle ne 
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soit pas explicitement posée. Il est parfaitement légitime 
d'évaluer une politique sans remettre en cause la pertinence de 
ses objectifs ton peut, par exemple, évaluer un programme de 
lormation a Faune de ws objectifs pédagogiques sans s'inter- 
roger sur le bien-fondé de ceux-ci). En pratique, cependant, il 
est presque inévitable que l'évaluation réexamine d'un œil 
critique sinon les finalités générales, du moins les obiectifs 
opérationnels de la politique évaluée. On revient ci-après sur CE 
point à travers la question du référentiel : s'interroger sur la 
pertinence d'une politique, c'est remettre en cause le référenticl 
de base constitué par ses objectifs officiels pour adopler un réfé- 
rentiel plus large. 

Cohérence: une politique est constituée d'un ensemble 
d'objectifs, de dispositils réglementaires el organisationnels, et 
enfin de moyens humains el financiers. Dans quelle mesure ces 
différents éléments forment-ils un système cohérent ? (exemple : 
le droit de l'urbanisme est-il cohérent avec l'objectif affiché de 
limiter l'artificialisation du sol ?). 

Efficacité: une politique produit des effets. On emploie rarfois 
l'expression «effets propres » pour désigner les effets dus à la 
politique elle-même, différence faite de l'influence du ceatexte 
et des autres facteurs exogènes (par exemple, on ne peul se 
contenter de mesurer l'évolution du chômage pour évaluer 
l'effet sur l'emploi de la réduction du temps de travail). Évaluer 
l'efficacité, c'est comparer les effets propres de la politique à ses 
objectifs. 

Efficience : toute politique à un coût. En bonne logique, on 
ne peut porter un jugement d'ensemble sur la réussite et le bien- 
fondé d’une politique qu’en comparant ses résullats aux 
ressources financières utilisées. Comme on le verra, l'évaluation 
de l'efficience renvoie principalement aux analyses coûts-avan 
tages et coûts-elficacité (cf: chapitre m). ; 

Ces quatre items sont Jes plus utiles, mais d'autres sont parfois 
mis en avant, notamment l'effectivité (qui se rapporte au carac- 
tère plus ou moins effectif de la mise en œuvre d'une mesure), 
la faisabilité et la soutenabilité (qui se rapporte à la possibilité 
de pérenniser la politique dans la durée, compte tenu notam- 
ment des moyens qu'elle mobilise, des ressources rares qu'elle 
consomme et de ses effets sur l'environnement). 
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… et d'un référentiel 


À travers les notions de pertinence et d'efficacité se trouve 
posée la question du référentiel de la politique : à quels critères 
devra-t-on confronter les résultats observés ? Au regard de 
quelles normes pourra-t-On se prononcer sur le bon fonctionne- 
ment et la réussite de la politique ? Pour prendre un exemple 
classique, le succès d'une politique d'aide aux chômeurs en diffi- 
culté se mesure-t-il uniquement par le nombre de ceux qui 
retrouvent un emploi ? Bien qu'une école d'évaluateurs améri- 
cains [Scriven, 1991] ait défendu la notion d'évaluation goul free, 
c'est-à-dire centrée sur la « valeur » intrinsèque du programme 
et non sur l'atteinte de ses objectifs, la conception dominante 
de l'évaluation reste centrée sur la mesure de atteinte des 
objectifs. Pour autant, comme on à commencé de le voir à 
travers la notion de pertinence, cela n'interdit pas de réexi- 
miner les objectifs au regard de considérations plus larges. pice 
réexamen débute, en fait, dès le stade de l'élaboration du projet 
d'évaluation, à travers l'explicitation d'un référentiel. 

Les objectifs « officiels » de la politique (ceux qui figurent, par 
exemple, dans l'exposé des motifs d'une loi) fournissent « priori 
un référentiel légitime : tel est d'ailleurs le point de vue adopté 
dans la définition de l'évaluation rappelee cihedessus Eu 
pratique, cependant, les objectifs sont rarement formules sous 
une forme suffisamment précise el cohérente pour être 
confrontés à des résultats observables. Supports d'affichage 
d'une volonté politique, ils présentent généralement plusieurs 
défauts du point de vue de l'évaluation : 

— ils sont incomplets. Gertains ohjectifs importants sont 
laissés à l'état implicite, voire occultés. I peut y avoir à cela de 
nombreuses raisons, la plus fréquente étant qu'ils cadrent mal 
avec le message qui accompagne la politique (par exemple, on 
ne dira jamais ouvertement qu'un programme de formation des 
chômeurs a pour but principal de faire baisser temporairement 
le chômage à la veille d'une élection) ; 

_ ils ne sont pas tous de même niveau : le discours politique 
mélange fréquemment les objectifs finaux et les objectifs inter- 
médiaires, les objectifs fondamentaux el les objectils secondaires 
ou conjoncturcls ; 

— ils peuvent être contradictoires ou du moins en tension 
{cas d'une politique de développement des zones de Montagn 
tentant de concilier des objectifs économiques el de préserva 
tion de l'environnement ; 
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 l'évaltation s'intéresse aux objectits els qu'ils sont actuelle 
ment interprétés pur le commanditaire légitime. Or, teur lermula- 
ton initiale peut être jugée inadéquate el leurs poids respectifs 
peuvenl avoir chat 


yé depuis que Ja politique à été décidée. De 
plas, l'évaluation conduit souvent à porter un regard nouveau 
sur la politique. Elle est l'occasion pour les responsables de 
modifier ou de réinterpréter ses objectifs, d'en faire émerger de 
nouveaux, de revoir leur hiérarchie ou encore de critiquer la 
manière dont certains d'entre eux ont été formulés. Ainsi, 
l'évaluation natianale de la politique de l'eau a abouti à la 
conclusion que les objectifs de qualité des caux en 2015 fixés par 
la loi étaient inattgignables et à ln recommandation de renoncer 
a la e lisation g priori dans la loi d'un objecti! global sur l'état 
des eaux en 2021» au profit d'objectifs plus spécifiques, plus 
réalistes et plus flexibles [Levraut ef al, 20131; 

… enfin, tous les objectifs ne sont pas également suscep- 
tibles d'être Iraduits en effets directement observables et en indi- 
caleurs (par exemple, un objectif-tel que le développement 
durable doit être décliné en objectifs plis opératoires en fonc- 
ton du contexte particulier de Ja politique). 

Elaborer le référentiel d'évaluation implique done un travail 
de relecture des objectifs. Ceux-ci ont presque toujours besoin 
tre interprétés et hiérarchisés à la lumière du contexte el des 
priorités politiques de l'heure, et d'êuc articulés pour faire appa- 
raitre les liens logiques entre objectifs de différents niveaux 
(généraux, SPs fiques, opérationnels, intermédiaires). Enfin 
et surtout, les objectifs doivent être «opérationnalisés », st-à- 
dire uraduits en critères d'évaluation (indicateurs ou « descrip- 
teurs » de résultat). 


Dianostie initial et hypothèses de travail 


Une autorité qui prend l'initiative de faire procéder à une 
évaluation est rarement dépourvue d'informations sur la poli- 
tique à évaluer. Le plus souvent, c'est parce qu'elle a élé alertéc 
par un certain nombre de «signaux » pos ifs ou négatifs qu'elle 
souhaite se Jaire une opinion fondée. En règle générale, les déci- 
deurs et les principaux protagonistes de Ja politique à évaluer 
ont un avis sur celle-ci. L'évaluation aura altciut son but si elle 
permet de valider, nuancer où infirmer ce jugement a priori. I 
est done nécessaire de recueillir des éléments de diagnostic provi- 
soie explicitant ce que pensent les principaux acteurs, €n bien 
ou en mal, de la politique à évaluer. Ce diagnostic pewt 
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s'appuyer sur un constat rapide des réussiles, échecs ou dysfonc- 
fionnements de la politique tels qu'ils sont perçus par le comman- 
ditaire, ainsi que sur l'analyse des évolations du contexte 
technique, social ou juridique qui appellent une refonte de la 
politique ou une reformulation de ses objectits. 

Ce diagnostic provisoire doit être considéré comme un jeu 
d'hypothèses à tester comparable aux hypothèses qui fondent 
n'importe quel protocole de recherche scientifique. Les idées 
échafaudées a priori sur la politique « constituent à la fois un 
point de vuc el une connaissance à prendre en compte dès le 
début de l'évaluation, ainsi qu'une indication permettant 
d'identifier les domaines dans lesquels l'évaluation cst le plus 
susceptible de produire des résultats uliles ct d'avoir des 
retombées pratiques » ICSE, 1996a, p- 254. Ainsi, le projet 
d'évaluation de la politique de prévention des risques naturels 
(1993) avail identifié la réticence des collectivités locales à 
accepter les plans d'exposition aux risques (PER) comme l'un des 
problèmes qu'elle devail élucider. 


Formuler une liste de questions 


La notion de questionnement (on emplois parois l'expres- 
sion d'agenda unulytique) est essentielle. Un rapport qui se 
contente d'aligner des faits el des jugements sans indiquer à 
quelles questions il Lente d'apporter une réponse ne mérite par 
le nom d'évaluation. Concrètement, l'étape clé de l'élabora- 
tion d'un projet d'évaluation est l'énoncé d'une liste de ques- 
tions (fréquemment plusieurs dizaines), classées logiquement el 
hiérarchisées. Ces questions doivent taire le lien entre les préoc- 
cupations du commanditaire, formulées spontanément dans les 
langages de Taction el de la rhétorique politique et les schémas 
de pensée des sciences sociales. Dans la mesure du possible, les 
questions doivent exprimer des hypothèses scientifiquement 
« réfutables » ct faire référence à des faits vérifinhles, des Processtis 
observables ct des grandeurs mesurables. En d'antres termes, « le 
but de Pagenda analytique est de transformer les questions géné- 
rales, souvent vagues, qu'ont en tête ceux qui demandent 
l'évaluation en questions suffisamment précises pour cire prises 
en compte par les méthodes de la recherche évaluative (fondée, 
invariablement, sur des méthodes de recherche dérivées de 
l'économie, des sciences sociales et du management, etc.) » 
ICE, 1997, p- 39. 
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Les axes du questionnement 
de evaluation du programme 
« Mouveaux servi os-cmplois 
jeunes » dans Je champ 

de la jeunesse ot des sports 


(Évaluation lancée dans le cadre du dispo- 
sitif interministériel — c. chapitre m — 
en novembre 1999 el achevée à 
l'été 2001 -- extrait du projet d'évalua- 
lion.) 

«Il est proposé d'analyser les 
effets du programme gouverne- 
mental en partant des intentions 
affichées par le qouvernement et 
traduites dans la loi et en étendant 
progressivement le champ de l'inves- 
tigation à des effets indirects repérés 
dans Je champ des activités suivies 
par le ministère de la Jeunesse et des 
Sports. 

— impact sur le développement 
des activités ; 

= impact sur le développement 
do l'emploi ; 

= impact sur la situation des 
jeunes ; 

— impad sur les organismes 
employeurs ; 


Une typologie des questions 


impact sur d'autres dispositifs 
{contrats d'insertion en alternance et 
contrats de qualification) ; 

— impact sur les formations et les 
diplômes propres au ministère de la 
Jeunesse et des Sports ; 

— impact sur la coopération 
inter-institutionnelle (notamment 
interministérielle) au plan local et au 
plan central, » 

Chacun de ces ilems étant ensuite 
précisé par un certain nombre de 
questions plus factuelles. Par exemple, 
pour le premier item : «I importe de 
savoir si ce sont bien des activités 
nouvelles qui ont été créées, 
“nouvelles” ne signifiant pas nécessai- 
rement d'un type nouveau, encore 
que la dimension innovante de l'acti- 
vité doive être explorée. Mais la ques- 
lion est aussi de savoir si l'activité 
présentée comme nouvelle ne préexis- 
tait pas, sous une forme ou une appel- 

lation différente, si son apparhon ou 
son développement sont l'insi-e de 
besoins nouveaux ou de Fesoins 
préexistants qu'il n'était pas passible 
de salisfaire auparavant. » 


On peut classer les questions en fonction des critères de juge- 
ment (cf. infra) auxquels elles se rattachent. On peut également 
les classer de manière plus analytique en fonction des moments 
ou aspects de la politique qu'elles cherchent à éclairer. 


Mise en application (implementation). — Toute politique repose 
sur l'activité concrète d'une multitude d'acteurs, à commencer 
partes fonctionnaires de terrain qui travaillent au contact direct 
des bénéficiaires de l'intervention publique. I est attendu de 
ceux-ci qu'ils mettent en œuvre les décisions prises au niveau 
central dans le respect de la réglementation et en se confor- 
mant aux intentions du décideur. En pratique, il peut en aller 
fort différemment : confrontés à une réalité complexe dont les 
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administrations centrales qui préparent les lois el rédigent les 
décrets n'ont qu'une vue partielle et biaisée, il taut s'attendre à 
ce qu'ils interprètent les directives, voire qu'ils s'en écartent 
substantiellement. Qui plus est, ils ont forcément un point de 
vue autonome sur la politique et parfois méme une shategie 
propre. Influencés par leur éthique professionnelle el leurs 
intérêts corporalistes, il est inévitable qu'ils poursuivent des 
objectifs qui ne coïncident pas parfaitement avec les objectifs 
officiels. L'une des premières tâches de l'évaluation consiste à 
analyser ces écarts, qui relèvent eux-mêmes de deux catégories 
distinctes : l'écart par rapport aux normes formelles (textes à 
valeur juridique, délais prescrits, règles budgétaires, ete.) et, 
d'autre part, l'écart entre les intentions officielles et les stra- 
tégies mises en œuvre pat les acteurs de terrain. À certains 
égards, on est ici proche du contrôle de régularité pratiqué par 
les corps d'inspection et la Cour des comptes. Avec toutefois une 
différence non négligeable : dans le cadre d'une évaluation, ces 
écarts ne sont pas considérés a priori comme des dysfonction- 
nements ou des fautes individuelles, mais plutôt comme 
l'expression de la liberté et de la responsabilité des acteurs de 
terrain : « S'il peut y avoir plusieurs compréhensions et lormu- 
lations d'un problème, il peut aussi V avoir des réinterpréla- 
tions lors de l'étape de la mise en œuvre. Dans ce cas, les agents 
publics disposent d'une marge de manœuvre, voire d'une 
certaine latitude pour agir » [facob et Rothmayr, 2008[. Lorsque 
les fonctionnaires n'agissent pas conformément à ce qu'avaient 
prévu les concepteurs d'une loi, il y a fort à parier que celle-ci 
avait été mal conçue ou expliquée, ou encore que les moyens 
affectés étaient insuffisants ou inadaptés. Dans tous les cas, le 
constat d'une mise en œuvre défectueuse d'une politique 
conduit à mettre en doute sa pertinence et sa cohérence, Cel 
aspect de l'évaluation est particulièrement important pour une 
évaluation concomitante associée au pilotage d'une nouvelle 
politique. 


Atteinte des objectifs et indicateurs de résultats. — La mesure 
de l'atteinte des objectifs correspond à l'idée la plus immédiate 
de l'évaluation. C'est souvent en ces termes que les hommes 
politiques évaluent les politiques dont ils ont eu la charge 
(« Suite à notre action, le chômage a baissé »). s'il est vrai que le 
degré d'atteinte des objectifs renseigne, en un certain sens, sur 
la réussile ou l'échec de la politique, on ne saurait considérer 
qu'il mesure son efficacité réelle. Le rassemblement d'un certain 
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nombre d'indicateurs de-résullat constitue néanmoins une étape 
incontournable de l'évaluation. Rappelons qu'un indicateur est 
un chiffre qui renseigne sur l'ampleur d'un phénomène ou son 
évolution. Un bon indicateur doit être fiable, représentatit de la 
réalité décrite et doit en outre permettre des comparaisons dans 
le temps et dans l'espace. 


Mesure des effets propres. — Pour évaluer l'efficacité d'une 
politique, on ne peut s'en tenir aux résultats immédiatement 
observables. Les réalités sociales, quantifiables où non, que la 
politique cherche à modifier peuvent être affectées par une 
moltitade de facteurs exogènes (conjoncture économique, effets 
des autres politiques, etc). On doit donc tenter de mesurer les 
effets propres de la politique, à savoir les modifications de l'état 
de la société qui lui sont réellement imputables. L'évaluation de 
l'efficacité cherche à répondre à la question : quelle différence 
verrait-on si la politique n'avait pas été mise en couvre ? Il est le 
plus souvent difficile de répondre précisément à cette question. 
Le lecteur trouvera au chapitre suivant quelques indications sur 
les méthodes les plus utiles pour prouver ct quantifier un lien 
de causalité entre une politique et une modification constatée de 
l'état de la société. 


Mécanismes d'action, — Dans une vision simplifiée de l'évalua- 
tion, Jes politiques sont des + boîtes noires» que l'an 
- étalonnes en mesurant les entrées (les moyens engagés, les 
coûts) et les sorties (les effets propres). En pratique, l'analyse de 
ce qui se passe à intérieur de la boîte noire s'avère souvent très 
importante. Compte tenu de la difficulté de mesurer de l'exté- 
ricur les effets de la politique sur la société, le seul moyen de 
se faire une idée de son efficacité réelle est en cffet d'observer 
de l'intérieur Ja manière dont elle modifie le Fonctionnement 
du système et, notamment, Je comportement des acteurs. Dans 
bien des cas, on accède ainsi à une connaissance qualitative de 
l'efficacité. Par ailleurs, si l'on souhaite connaitre les condi- 
tions dans lesquelles une politique peut « marcher » et améliorer 
pratiquement son efficacité, il est nécessaire de comprendre 
comment elle agit. Une comparaison avec le domaine médical 
peut éclairer ce point : la recherche sur les nouveaux médica- 
ts ne se contente pas de Lester leur efficacité sur les malades, 
on cherche fonjours à comprendre conunent ils agissent (en iden- 
tütiant leurs récepteurs dans l'organisme grâce aux techniques de 
la biologie moléculaire). Sans cette connaissance, on hés 
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prescrire un médicament parce qu'on ne sera pas sur de narisan 
ses effets indésirables. Dans le cas d'une politique, les miaa- 
nismes d'actions sont les effets microéconomiques ct miernso- 
ciaux de l'intervention publique. il s'agit de comprendre 
comment l'intervention publique modifie l'environnement, les 
objectifs, les plans ct Ies moyens d'action des acteurs. 


Questions lićes à l'interaction de la politique et de son contexte; 
— Beaucoup de questions d'évaluation ont trait à | interaction 
de la politique et des dynamiques sociales eninpenes es 
lesquelles elle interagit. 11 peut s'agir d'interrogations portan baut 
la pertinence des objectifs ou de la stratégie de la DANS an 
regard des caractéristiques particulières d'un DAME pa 
exemple, une évaluation de la politique de la ville DA T 
de-France s'est interrogée sur la pertinence d une stratégie de 
discrimination positive des territoires dans une région où les 
territorialités sont floues et imbriquées). Plus généraioment, il 
est fréquent qu'une politique produise des effets différent s st ton 
les lieux où elle est mise en œuvre : la nécessité de « territoria- 
liser » les politiques publiques est d'ailleurs de plus oji Rus 
fréquemment mise en avant. Le contexte peut ns 
évoluer au cours du temps : il se produit fréquemment des 
événements et évolutions qui affectent les conditions de mise 
en œuvre de la politique : nouvelle réglementation européenne, 
évolution de la situation économique, etc. Une mesure peot eme 
en synergie avec la conjoncture économique où, au piisas, 
ètre rendue inopérante par celle-ci (par exemple, miy évaluation 
de la loi Aubry sur les trente-cinq heures devrail s interroger sur 
la pertinence de l'idée de partage du travail en période de haute 
conjoncture). 


Effets de système. — Toute action publique produit sur l3 
société des effets plus larges que ceux explicitement visés par 
les décideurs. Ges « effets collatéraux » ne sont généralenrent pas 
au centre des préaccupations du commanditaire de l évaluation, 
mais ils ne peuvent cependant être ignorés par l'évaluation. 1 ou 
une bonne part, ce volet du questionnement se rattache au 
critère soutenabilité, l'exemple évident étant celui des effets 
environnementaux d'une mesure à visée économique. 
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Analyse de la logique (ou de la « théorie ») du programme 


L'élaboration du questionnement peut s'appuyer sur une 
analyse formelle de la « logique » ou de la « théorie » de la poli- 
tique ou du programme [Chen, 1990. Schématiquement, la 
démarche consiste à modéliser le programme camme n 
ensemble de relations causales reliant les dispositifs d'action, les 
biens et services produits par la politique, et les différents 
niveaux d'impact social attendus. Cette modélisation peut 
prendre la forme graphique d’un diagramme logique d'impact 
(DLI). L'évaluation du programme peut alors s'entendre comme 
le test des segments élémentaires de cette théorie, tels qu'ils 
apparaissent sur le diagramme, à commencer par les « relations 
supposées entre des mesures d'incitation ct le comportement des 
personnes ou des collectivités qui en bénéficient » Perret, in 

. Dagenais ct Ridde, 2012, p. 551. i 
, Comme Vindique un guide méthodologique australien, 
l'analyse de la logique du programme est un élément clé du 
projel d'évaluation : « Analyser la logique du programme aide 
à clarifier les objectifs du programme, ct à identifier et dé 
les principaux éléments du programme (inputs > proces 
> outputs > outromes), les relations de cause à cffet attendues 
entre le programme et les elfets qu'il est censé produire, et les 
éléments de contexte susceptibles d'atfecter l'atteinte des 
objectifs ». Sept étapes d'analyse peuvent être identifiées : 
« 1) décrire le programme ; 2) clarifier les objectifs du 
programme ; 3) identifier les relations de cause à effets 
supposées ; 4) identifier les différents niveaux d'impact 
évaluables ; 5) identifier les critères d'atteinte des objectifs 
relatifs à ces impacts ; 6) identifier quelle information sur les 
impacts sera nécessaire ; 7) identifier les facteurs susceptibles 
nr. les impacts » [ministère des Finances australien, 1494, 
p. Aje 


Niveaux de résullat 


4 L'analyse logique d'une politique ou d'un programme oblige 
à clarifier l'articulation de ses différents niveaux de résultat et 
d'impact. On distingue couramment les ontpnts et les vutcomes. 
Les ontputs ou «extrants opérationnels », biens et services 
produits en vue des objectifs de la politique, Les ontputs torres 
pamen notamment aux biens ct aux services fournis par 
l'administralion (imprimés, ordonnaners, autorisations, 
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amendes, diplômes, subventions, action de formation, ete). Les 
outcomes ou «impacts sociaux », qui recouvrent en fait tous les 
impacts et changements économiques et sociaux imputables à 
une politique au-delà de ses outputs. On distingue couramment 
différents types d'impact : économique, social, culturel, 
technique, environnemental, institutionnel. La distinction 
entre outputs et oulcomtes est assez grossière el souvent peu 
adéquate. Mieux vaudrait parler de manière plus générale d'une 
hiérarchie des objectifs et des résultats. Toute action publique peut 
être vue comme une chaîne de moyens et d'effets attendus : 
intentions, décisions, dispositifs réglementaires, ressources, 
processus d'intervention ou de production, extrants opéra- 
tonnels, effets ct impacts de différents niveaux jusqu'aux 
“effets de système ~. À chaque niveau, on peut I 
pondre un certain nombre d'indicateurs ou de descripteurs. Par 
exemple, une politique éducative produit des actions de lorma- 
tion, des diplômes, des effets observables sur le niveau de 
connaissance des élèves, des effets à plus long terme sur leur 
capacité d'insertion sociale et professionnelle et des effets plus 
globaux sur la cohésion sociale et la culture. I est important de 
comprendre qu'une évaluation ne peut examiner qu'une partie 
des enchainements entre ces différents niveaux. 


Bilan informationnel 


L'agenda analytique (le questionnement) débouche sur un 
travail de rassemblement et de traitement de l'information et, 
pour certaines questions, d'étude et de recherche. Avant de 
planifier de nouvelles enquêtes et analyses, il convient de 
réaliser un recensement sommaire des informations dispo- 
nibles : évaluations, rapports d'étude ou d'inspection traitant du 
sujet, données mobilisables sans nouvelle dépense el dans un 
délai bref, etc. Ce bilan permet d'anticiper quelle partie des ques- 
tions posées trouvera facilement une réponse et d'estimer le coût 
d'obtention des informations manquantes. En ce qui concerne 
l'utilisation de travaux archivés, les pratiques actuelles sont très 
déficientes el l'on ne considère pas suffisamment l'évaluation 
comme une source de connaissances cumulatives. AUX 
États-Unis, la revue critique des évaluations existantes {métaéva- 
luation) fait partie des méthodes courantes. Le fait que j'évalua- 
tion existe depuis longtemps à différents niveaux de 
gouvernement n'y est pas pour rien. 


Ze  L'AMATIANON DIS PONTIQUFS PUBLIOMES 


Programme d'études et choix des opérateurs 


En fonction de l'importance relative des différentes questions, 
des éléments de réponse déjà connus au facilement dispo- 
ribles etdes moyens linanciers mobilisables, l'instance d'evalna- 
tion élabore ct planifie un programme d'études ct d'enquêtes. 
Celles-ci peuvent être de différents types : synthèse orientée 
d'études préexistantes, analyse documentaire (réglementation, 
compte rendu de réunions, prises de positions politiques, 
coupures de presse, archives), exploitation statistique de 
données administratives (informations contenues dans les 
fichiers de gestion), enquêtes ou investigations ad hoc permet 
tant ge recucillir de nouvelles données (enquêtes statistiques par 
questionnaire postal, entretien où téléphone, suivi d'un panel 
de bénéficiaires), entretiens avec des acteurs ou AULCS 
«personnes ressources », monographies ou études de tas, audi- 
lions. On traite au chapitre n de quelques-unes des questions 
lechpiques posées par le choix et la mise en œuvre de ces outils. 
1e problème le plus difficile est celui de la nicsure de l'effet 
propre d'une action publique : comment identifier et quantifier 
les changements dans l'état du système social qui sonl dus à la 
politique ef à elle seule? 


| Lorsqu'elle existe, c'est à l'instance d'évaluation (ou à une 
émanation de celle-ci) qu'il revient de choisir les chargés 
d'évaluation sur la base de cahiers des charges relatifs aux difé- 
rents champs de questionnement, le cas échéant par voie 
d'appel d'offres. H est souvent intéressant de combiner plusicurs 
types de compétence et de positionnement : membres des corps 
d'inspection ou des services d'étude de l'administration, experts 
ou chercheurs possédant une bonne compétence sectorielle 
dans le domaine considéré, experts généralistes ou méthoda- 
ee se Vs un regard extérieur et distancé sur la 


Rédaction du rapport d'évaluation et valorisation des résultas 


La diffusion des résultats de l'évaluation peut prendre diffé- 
rentes Tormes : réunions de travail avec le commanditaire, conlé- 
rences, actions de formation, articles de presse, etc. Les membres 
de l'instance d'évaluation peuvent y contribuer individuelle- 
ment ou collectivement. Par ailleurs, des effets d'apprentissage 
se produisent dès avant la remise du rapport. Cela ne doit pas 
conduire à négliger l'importance des productions écrites qui 
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conserveront ia mémoire de l'évaluation ef garantiront une 
certaine pérennité à ses enseignements. 

Le rapport final doit s'efforcer de refléter la spécificité d'une 
démarche d'évaluation. Cette exigence implique notamment 
d'artivuler rigoureusement les jugements et les faits ¿il s'agit, 
idéalement, de référer tous les jugements de valeur à des raison- 
nements explicites, eux-mêmes appuyés sur des laits véri- 
fiables. L'écriture du rapport doit cependant tenir compte d'une 
autre préoccupation : le contenu et la forme des documents 
diffusés doivent être adaptés aux différents publics visés 
(citoyens, décideurs, chercheurs, experts). Leur capacité de 
lecture et de compréhension dépend notamment de leurs 
intérêts pratiques ou cognitifs, de Jeur disponibilité el de leur 
degré de connaissance du domaine. Il est donc souhaitable de 
ménager plusieurs entrées et de permettre plusieurs niveaux 
d'appropriation du rapport (résumé, annexes, bibliogra- 
phie, ete.) Sans craindre le didactisme mais en évitant la 
« langue de bois », les commanditaires et les instances d'évalua- 
tion doivent s'attacher à diffuser une présentation honnête et 
sincère des résultats. En particulier, les limites de l'évaluation 
et les conséquences des choix méthodologiques doivent être 
portées à la connais nee du lecteur. Ces exigences sonl parfai- 
tement résumées dans un guide déjà cité : 

« Un lecteur potentiel d'un rapport d'évaluation doit pouvoir 
comprendre : l) l'objectif de l'évaluation ; 2) la délimitation 
exacte de Pohbjet; 3) comment l'évaluation a été planifiée et 
conduite ; 4) quels faits ont été établis; 5) quelles conclusions 
ont été tirées ; et 6) quelles recommandations ont, le cas 
échéant, été faites. » 

Le même guide souligne la nécessité d'un résumé (executive 
summary) bien écrit, dans la mesure où l'on peut supposer que 
seule une faible proportion des destinataires lira l'intégralité du 
rapport. Le guide dresse également la liste des principaux défauts 
qui peuvent nuire à la clarté d'un rapport d'évaluation : « Ne 
pas décrire le programme de manière suffisamment détaillée {ce 
qui sevient à supposer que tous les lecteurs soient familiarisés 
avec le programme et sa logique) ; ne pas décrire es méthodes 
utilisées par Févaluation pour rassembler et trailer les données, 
pour justifier le choix des méthodes ou indiquer les forces et 
faiblesses des méthodes choisies ; utiliser des informations sans 
citer la source; parvenir à des résultats qui ne sont pas solide- 
ment établis sur des faits; formuler des conclusions qui ne sont 
pas explicitement justifiées (c'est-à-dire, qui ne sont pas fondées 


30 L'ÉVaruANON DES POLITIQUES PURHIQUES 


sur des résultats), de sorte qu'un lecteur indépendant ne puisse 
juger de leur validité; faire des recommandations qui i sont 
+ cu de manière pertinente aux conclusions » [CE, 1997 
p. 4 . | cs) 

Pour conclure ce point, on formulera cing principes : 1) le 
Hs AnenEn( initial doit servir de fil conducteur au rapport ; 
2) j accessoire ne doit jamais noyer l'essentiel : les informations 
chifirées directement reliées aux conclusions doivent être bien 
mises en valeur; 3) le lecteur du rapport doit pouvoir identi- 
fier facilement le statut des différents types de développement 
(méthodologique, descriptif, démonstratif, normatif 
conclusif.. ). En particulier, lorsqu'une opinion est rapportée il 
importe de savoir si elle exprime le point de vuc de l'évalua- 
{eur ou si elle n'est fournie qu'à titre informatif ou ifustrallf: 
D les imputalions de causalité (telle action publique produit tel 
cffet propre) doivent être clairement argumentées en s'appuyant 
sur des informations ou résultats d'études validés : et AeA A le 
statut des recommandations doit être précisé : sont-elles la 
conséquence logique des résultats de l'évaluation ou ne font- 
elles que refléter l'opinion des membres de l'instance? Sont- 
elles directement applicables ou s'agit-il de simples orientations 
devant donner lieu à de nouvelles études ? i i 


11 / L'évaluation comme connaissance 


L sssentiel du travail concret des évaluateurs consiste à rassem- 
bler, traiter et interpréter des informations en se soumettant aux 
exigences de la rigueur scientifique. Le point de vue n'est pour- 
tant pas exactement celui de la science : il s'agit moins de 
construire des faits scientifiques que des arguments raisonnable- 
ment défendables. L'évaluation doit pour cela combiner des 
connaissances scientifiques de différents types et des savoirs 
pratiques relevant d'une autre forme de validité. Comme 
l'indique le Guide du CSE [1996a] : 

« Contrairement à une recherche scientifique menée dans un 
cadre disciplinaire déterminé, qui privilégie un nombre limité de 
raisonnements, l'évaluation cherche à utiliser toutes les heuris- 
tiques, et à s'adapter aux conditions réelles de la délibération 
et de la prise de décision. Comme toute discussion ou réflexion 
menée à des fins pratiques, l'évaluation n'exclut a priori aucun 
élément d'information concernant son objet, quelle que soit sa 
nature (quantitative ou qualitative) et son origine, dès lors qu'il 
semble pertinent. » Mais, comme le précise encore le CSE : « Cet 
éclectisme n'est pas synonyme de confusion : CONtrairement i 
une discussion ordinaire, menée sans méthode formelle, 
l'évaluation s'efforce de ne pas mélanger les différents types 
d'arguments, mais de les hiérarchiser, de les ponderer, et de 
relier chacun à des conclusions spécifiques » [CSE, 1996, p. 49! 
La construction d'un jugement évaluatif implique une 
« pratique réglée de l'argumentation » qui n'est pas sans 
analogie avec le déroulement d'un procès, modèle type d'une 
discussion soumise à des règles formelles portant sur le statut, 
les critères de validité et le poids relatif des arguments [lerret, 


2012]. 
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Des arguments de différents types 


Les arguments qui constituent la trame d'un rapport d'évalua- 
ton sont de différents types. ; 

Donnecs de cadrage el indicateurs 25 tournissent une descrip- 
tion quantiliée des principaux aspects de l’action évaluée : coûts, 
moyens humains, volume des activités, nombre de bénéfi- 
ciaires, outputs, résultats constatés (atteinte des objectifs), etc. 
Pour devenir des arguments, ces dounées doivent être « quali- 
fiées » : l'augmentation du nombre de bénéficiaires d’une 
mesure peut être qualifiée de «rapides où «lente», l'évolu- 
lion d'une situation peut-être qualifiée de « satisfaisante » ou 
préoccupante », cie. 


Constats ct descriptions : une partie de la torce de conviction 
des évaluations repose sur la restitution d’une observation 
directe de Ja réalité. Le rapport rassemble des faits signifiants 
par eux-mêmes, à partir d'enquêtes de terrain ou de documents 
cerits. 1 peut s'agir de la simple description d'une situation où 
d'un processus, du récit d'un événement voire de l'histoire 
personnelle d'un individu. L'évaluation interministérielle de Ta 
politique des emplois-jeunes dans le domaine de la jeunesse et 
des sports, par exemple, s'est largement appuyée sur des récifs 
de jeunes bénéficiaires et de responsables associatifs. daei 
clément purement descriptif est toujours nécessaire pour 
comprendre et interpréter les données chif 
l'importance des monographies comme piè 
clés d'interprétation. 

Opinions : le point de vue des acteurs el des autres protago- 
nistes de Ja politique constitue souvent Ja principale informa- 
tion disponible pour évaluer sa réussite. Ce qui n'est pas sans 
poser problème : les opinions émises sur une politique sont rare- 
ment indépendantes des positions el imtéréts de leurs auteurs. 
Elles doivent donc être regardées de manière critique et, dans 
la mesure du possible, confrontées à des informalions reflétant 
des faits objectifs. Le cas des opinions d'experts est évidemment 
différent : elles constituent une source directe de conna 
évalualive dans tous les domaines ou les normes de l’action 
publique reposent sur des connaissances techniques spécia- 
lisées (recherche scientifique, politiques environnementales, 
prévention des risques...). Dans tous les cas, il importe de bien 
distinguer le point de vue d'une catégorie particulière d'acteurs 
ou d'experts et le point de vue de l'évaluateur ou de l'instance 
d'évaluation. 


des, ce qui justifie 
es à conviction ct 
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Raisonnements, arguments théoriques et démonstrations : 
certaines questions appellent une argumentation plus élaborée 
allant au-delà du simple constat. C'est le cas lorsqu'on veut 
tester ou discuter une relation causale, une explication (pour- 
quoi ?) ou un mode de compréhension (comment ?). « Répondre 
à cetype de questions, consiste à faire une démonstration ou 
proposer une interprétation théorique des informations dont on 
dispose » [CSE, 1996al. IL s'agit d'apporter la preuve ou de 
discuter d'un point de vue rationnel de la réalité d'un phéno- 
mène ou d'un mécanisme non directement observable. Un tel 
détour est généralement nécessaire lorsqu'on a l'ambition de 
mesurer les effets propres de la politique qui, comme on l'a vu 
au chapitre précédent, ne sont pratiquement jamais directe- 
ment observables. Apporter la preuve d'une relation causale et, 
si possible, la quantifier, constitue le problème central de la 
recherche évaluative. En pratique, cependant, il s'agit souvent 
moins d'apporter une preuve formelle que des arguments plau- 
sibles à l'appui d'une thèse. Faute de démonstration certaine, on 
se contente d'interpréter un ensemble disparate de faits et de 
chiffres en s'appuyant sur différents leviers de conviction : 
schémas théoriques inspirés de corpus scientifiques établis 
{théories économiques ou sociologiques) où compréhension 
intuitive des processus sociaux. 

Des chiffres et des lettres : ìl est légitime de considérer la mesure 
comme la forme la plus achevée de la connaissance : SANS 
chiffres, on reste dans le flou. Seules des données chillrées se 
prêtent à des comparaisons rigoureuses (dans le temps et dans 
l'espace) ct à l'agrégation de constats partiels. Par ailleurs, on 
voit mal comment l'évaluation pourrait jouer son rôle de 
compte rendu sans données chiffrées. Dans le domaine des faits 
sociaux, l'impression d'objectivité et de précision qui émanc des 
chiffres est pourtant en partie illusoire. Toute quantification 
suppose en effet une mise en forme préalable de la réalité : il faut 
choisir les phénomènes à mesurer parmi une multitude de possi- 
bilités, définir des « unités statistiques » (donner un sens précis à 
des termes tels que : « ménage », «entreprise » “agploméra- 
tion », « quartier », etc.), élaborer des typologies et des nomen- 
clatures, elc. Les chiffres n'existent qu'à l'intérieur d'un « cadre 
conceptuel » sous-tendu par une représentation plus ou moins 
conventionnelle de la réalité. Celle-ci est toujours sujette à 
controverse, comme en témoignent les débats récurrents sur la 
mesure d'un «taux de chômage» ou d'un «taux de délin- 
quance» [Perret ct Seibel, in CSE, 1993]. Toul indicateur 
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synthétique repose sur des choix simplificateurs qu'il convient 
de justifier. Une fois les chiffres produits, leur interprétation 
repose elle aussi sur des modes d'appréhension de la réalité exté- 
rieurs aux donnees elles-mêmes. En fin de compte, ta signilica- 
tion de l'information quantitative est doublement dépendante, 
en amont et en aval, d'une compréhension « qualitative » de la 
réalité, En sens inverse, les chiffres sont souvent mobilisés à des 
fins purement descriptives, pour enrichir et préciser limage de 
la réalité sociale. On peut utiliser pour cela les techniques de 
la statistique descriptive où l'analyse des données (cf. infin) qui 
permettent de résumer et de présenter de manière synthetique 
l'information contenue dans un ensemble de données. 

A priori, seule une approche quantitative peut permettre 
d'établir un lien de causalité entre une politique ct ses effets 
{cf infra). Bien que, comme l'indique Cook, l'analyse qualita- 
tive suffise parfois pour se prononcer sur l'efficacité d'un 
programme : « Nous pouvons tous faire état d’une étude quali- 
tative montrant qu'un programme est probablement efficace 
selon ditférents critères; d'une étude montrant qu'un 
programme est vraisemblablement inefficace compte tenu des 
dyslonctionnements constatés dans sa mise en œuvre ; Ci d'une 
étude fournissant des scénarios valables pour améliorer un 
programme s Cook, in CSF, 1996b, p. #6]. 


La notion d'evidence 


Les documents méthodologiques en langue anglaise font un 
usage intensif du terme evidence. Ce terme est un faux ami qui 
pose d'intéressants problèmes de traduction. Comme l’obser- 
vent ©. Laurent ef al. [2009], plusieurs traductions insatisfai- 
santes de ce terme coexistent, Chacune mettant l'accent sur une 
préoccupation différente : « “Preuve”, “données probantes” 
pour signaler l'importance de disposer de connaissances fiables 
pour étayer les actions et garantir autant que possible leur effi- 
cacite au regard des objectifs poursuivis ; "niveaux de preuve” 
pour souligner qu'il convient de hiérarchiser les connaissances 
disponibles ; "évidences factuelles”, “réseaux empiriques” pour 
rappeler que les “évidences/preuves” dont il s'agit ici sont 
fondées sur des données empiriques et corroborées par les Faits. » 

L'intérét de cette notion, c'est de souligner — comme on 
vient de le faire avec d'autres mots — que les évaluateu:s sont 
toujours confrontés à un ensemble d'éléments de pre ive et 
d'arguments entachés d'imprécision et d'incertitude, qui 
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doivent être interprétés de manière globale, en tenant compte 
de leur valeur relative et de leurs relations mutuelles. 


Les outils de l'évaluation 


Les outils techniques de l'évaluation sont peu spéciliques, 
Tous les savoirs sectoriels, toute la panoplie des techniques de 
mesure, d'analyse et d'interprétation des faits sociaux sont à la 
disposition des évaluateurs. Il n'en demeure pas moins que 
certains outils sont d'un usage particulièrement fréquent ct 
important. On distingue les techniques de collecte, les tech- 
niques de présentation des données, les méthodes visant 
J'établissement de liens de causalité et les te hoiques de 
décision. 


Les sources d'information 


a) Données existantes : documents écrits produits par l'organi 
sation (compte rendu de réunions, actes juridiques ou adminis 
tratifs, trace écrite des processus décisionnels), rapports 
d'inspection, études et évaluations portant sur des thèmes 
connexes, données comptables et statistiques issues de la gestion 
administrative. L'évaluation est facilitée par l'existence d'une 
comptabilité analytique, de dispositifs de suivi et de contrôle 
de gestion. Le développement ou l'amélioration de ces outils tail 
d'ailleurs souvent partie des recommandations formulécs à 
l'issue d'une évaluation. 

b) Nouvelles enquêtes : enquêtes statistiques, exhaustives ou 
par sondage, en coupe instantanée ou en suivi longitudinal ; 
monographies, ete. (cf: infra). 

€) Dires d'expert: particulièrement importants lorsque les 
questions d'évaluation ont un caractère technique. L'exploita 
tion systématique du point de vue de plusieurs experts peut 
reposer sur l'utilisation des techniques de travail en Rroupe 
(f. infra). L'instance d'évaluation peut également auditionner 
les informateurs les plus pertinents, experts ou acteurs clés de la 
politique évaluée. 


Bref aperçu sur les techniques d'enquête 


tinter- 


Les principales techniques de l'enquête sociale sont 
view ouverte ou semi-ouverte, le questionnaire postal ou 
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téléphonique, l'enregistrement audiovisuel, la discussion en 
Hroupe, l'observation participative. Toutes exigent un din 
de competences pour être convenablement réalisées ou inter- 
préteus. M les techniques d'enquête sent inadéqualcs ot mal 
utilisées, les données oblenues manqueront de fiabilité. 
L'ampleur de l'investigation et le mode d'interrogation sont 
ronction de la nature des questions auxquelles on veut 
repute: Par exemple, l'enquête statistique par questionnaire 
fermé est adaptée à l'objectif de fournir une mesure chiffrée de 
faits ou opinions dont la signification peut-être considérée 
gamme univoque, tandis que l'enquête par entretien, sur un 
échantillon nécessairement plus réduit, est recommandée si lon 
souhaité connaitre de manière précise et nuances le sens que les 
acteurs attribuent à une silualion ou à leur propre action, Ou 
ne prétend pas ici fournir un mode d'emploi pour toutes ces 
techniques, qui ne sont d'ailleurs pas propres à l'évaluation. on 
se limite à quelques points particulièrement importants pour les 
études d'évaluation. ; 


La conception d'un questionnaire. — Pour des raisons évidentes 
il faut éviter les questions trop longues, à l'énoncé ambigu té 
contourné. I laut s'assurer que le sens de la question est parfai- 
tement univoque el oe pas hésiter à donner un exemple concret 
pour bien se faire comprendre. Chaque question fermée doit ne 
traiter que d'un seul point et être posée de manière discrimi- 
pante (de manière à maximiser les chances de faire apparaître 
dos contrastes au sein de la population). Les réponses proposées 
doivent être équilibrées : si l'on veut connaitre, par exemple, la 
satisfaction d'une personne vis-à-vis d'une mesure, il faut que 
la personne interrogee ait le choix entre un nombre égal de 
réponses positives et népalives. Selon les cas, ON aura ou non 
secours à une possibilité de réponse neutre tdu type «ne sait 
pass, «ni l'un ni l'autre ») qui présente l'inconvénient d'encou- 
rager l'expression d'une indécision. 


A U ne faut jamais perdre de vue que toute interrogation peut 
être perçue comme une opération de jugement. Même s'il sait 
qu'il ne risque rien à « décevoir » les attentes imaginaires de son 
enquêteur, l'enquêlé se juge lui-même au miroir de ses tions 
Une enquète d'opinion réi » pour le comple d'un quotidien 
semparani une question libellée à peu près comme suit : 
“ e de la France en faveur des pays en développement 
diminué depuis quelques années ct s'établit désormais à 0,7 % 
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du PIB, jugez-vous cet effort suffisant ? » Ainsi posee, la question 


. suggérait fortement une réponse négative. 


On distingue différents types de questions qui doivent être 
combinées pour fournir une information interprétable : les ques- 
tons de souhait ou d'intention (ce que veut la peronne inter- 
rogée), les questions de connaissance (ses informations et 
opinions), Ies questions de comportement (ce qu'elle fait), les 
questions d'attributs ou de statut (ce qu'elle est). Un question- 
naire court sera MiCUX accepté par les enquêtés ct fournira des 
réponses de meilleure qualité. Le questionnement ne doit pas 
étre perçu comme inquisitorial. Pour cette raison, il est préfé- 
rable de ne pas placer les questions d'attributs en tête. De même, 
les questions les plus délicates (celles qui touchent à des situa- 
lions ou à des comportements personnels) doivent être placées 
vers la fin du questionnaire, juste avant les questions d'attributs. 


Conduite d'un entretien. — Concernant le choix des personnes 
à interroger ct le déroulement de l'entretien, quelques règles de 
bon sens doivent être mentionnées : attacher de l'importance 
au point de vue des gens de la base souvent plus instructif que 
eelui des responsables, trop biaisé par leur stratégie ; prendre le 
temps de faire parler les gens de leur travail (eréer un climat 
de confiance avant de poser les questions les plus précises), SC 
méfier des théories (faire parler des gens de ce qu'ilsifont réelle- 
ment), attacher de l'importance au système relationnel (avec qui 
êtes-vous en contact, etc), multiplier les entretiens pour avoir 
des recoupements et aboutir à une certaine forme d'objectivité. 


La question de la représentativité. _ La théorie statistique 
permet de donner un contenu précis ct quantitatif à Ja notion de 
représentativité : un échantillon est dit représentatif quand il 
est suffisamment grand pour refléter correctement la distribu- 
tion d'une variable au sein d'une population : un échantillon 
de quelques centaines d'individus sélectionnés par la méthode 
des quotas (c'est-à-dire choisissant un échantillon dont la struc- 
ture est proche de celle de la population générale pour les 
variables les plus importantes telles que Île sexe, l'age, etc.) 
permet d'estimer précisément la valeur moyenne de la variable 
considérée (une information purement factuelle, une opinion 
ou un comportement). Dans le contexte de l'évaluation, on est 
souvent amené à privilégier V'approfondissement du questionne 
ment sur la taille de l'échantillon. 11 est en effet difficile 
d'enquêler un vaste échantillon lorsque l'information 
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Les pièges de l'entretien 
selon Erhard Friedberg 


« Réflexions sur la place de l'entretien 
ilans l'approche organisationnelle de 
l’action collective » (note ronéotéc), 
«Îl y a au fond trois attitudes ou 
facteurs qui peuvent faire échouer un 
entretien, D'une part la langue de 
bois où les interviewés ne se départis- 
sent pas des objectifs olficiels et 
d'une vision normalive de leur 
champ en niant toute difficulté et 
fout problème. D'autre parl la conni- 
vence et la complicité personnelle 
entre interviewé et intervieweur, La 
seule impossibilité totale dans ce 
domaine est en eflet l'interview d'un 
ami : un tel entretien est toujours 
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k expliquer, el il faut fuir l'implicite 
comme la peste. Enfin, c'est la 
tendance de certains interviewés (et 
de catégories d'interviewés) à 
conceplualiser et à réfléchir leurs 
pratiques. Et celle tendance n'est pas 
réservée aux dirigeants, loin s'en faut. 
Il existe à cet égard des prolessions 
plus difficiles à inlerviewer que 
d'autres, parce qu'elles portent leurs 
membres à réfléchir sur leurs 
praliques, aussi parce que ces 
pratiques sont plus difficiles à décrire 
el à concréliser. Sars vouloir établir 
un classement qui dans cette généra- 
lité n'aurait bien sûr aucune significa 
tion, il me semble qu'on peut 
néanmoins soutenir que par exemple 
des enseignants ou des éducateurs, et 
plus encore des psychologues ou des 


envahi par le non dit, par l'implicite, 
par le “Ah, tu sais bien, je n'ai pas 
besoin de t'expliquer...”. Or juste- 
ment, dans un entrelien, lout est à 


psychiatres appartiennent pour préci- 
sément celte raison à des groupes 
prolessiannels particulièrement dilli- 
ciles à interviewer. » 


recherchée ne peut être obtenue qu'au moyen de questions 
ouvertes (non directives) ou lorsqu'on souhaite comprendre une 
siluation en profondeur en interrogeant différentes personnes 
sur une même scène d'action. Ainsi, dans une évaluation de la 
politique de santé mentale, une enquête portant sur 84 patients 
hospitalisés a permis d'interroger, pour chacun d’entre eux, 
l'entourage familial et les différents professionnels impliqués 
dans la prise en charge médicale et le suivi social IHCSP, 2011]. 
Pour des raisons pratiques, on doit dans un tel cas se satisfaire 
d'une conception qualitative de la représentativité, voir celle 
qui permet d'appréhender la physionomie générale d'une situa- 
tion type, faute de pouvoir la quantifier. À l'extrème, il n’est 
pas rare que lon cherche à tirer des enscignements de portée 
générale sur la base d'un petit nombre d'études de cas. Selon 

la nature des phénomènes et des questions posées, cela peut 

suffire aux besoins de l'évaluation. La validité d'une généralisa- 

tion dépend en effet autant de la variabilité du phénomène 

observé que du nombre d'observations, De plus, il s'agit souvent 

moins Je mesurer un phénomène que d'en connaître les prin- 
cipales caractéristiques et de porter un diagnostic sur son 
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i ite tai i reflète les prin- 
importance. Un échantillon de petite taille qui rante Dee 
cipaux contrastes dans les situations que l'on souhaite obse : 

au astes € gi peer 
suffit souvent pour répondre aux questions que l'on se pose 
tirer des conclusions utiles. 


L'approche longitudinale. — Pour évaluer HUE y ue 
tique dans leur dimension dynamique, par Epee ce 
d'une mesure sociale sur une population ORNE ci; B 
besoin de suivre bn qu de res Late Lis ps. 
Les enquêtes par panel utilisent des mes i ys . se 
ê échantillon à différents moments (deux ou plus sel ares 
ia es de temps), pendant une durée pa 
peut atteindre plusieurs années. Outil de En sa > ank 
tion des mesures sociales, le suivi d'un panel x rs a 
difficultés pratiques : les contraintes de és tn vhs a 
difficulté de maintenir la représentativité en iden ” or 
tilon au cours du temps (les personnes Ne ce 
accepter des interrogations répétitives et il fau ls 
procédures de remplacement = K A E pael 
panel suite à un changement de situa í = à Ua 
ésoudre ce problème, on est obligé de prendre Hi chan 
ee pr large au départ (dans le vas T 
RMI, le panel des a. est passé de 2 00N à è 
suite à ces défections). J Re K 
M longitudinale peut également a 
ex post (c'est une technique courante en ma K ee a LE 
suivre les antécédents d’un échantillon de ma au cs Le de à 
a pet sv ur = a e Eee adéquates 
situation des individ us du panel. er 
lorsqu'on souhaite appréhender les effets d'ui m e 
iè mamique, ces méthodes peuvent également ( 
NURES dite d'analyse de la causalité, Ca = 
entre deux variables corrélées laquelle est la cause de Ta $ 


Prise en compte des points de vue d'experts ou Se ane 
les méthodes de travail en groupe. — Les en pute 
en groupe sonl généralement utilisées pour % n n E Ea 
consensus sur des questions complexes auxque’ 5 . En 
de recherche ne fournissent pas de o 2 9 | P 
d'experts). Une seconde utilisation est e À pe 
moins fréquente : prendre appui sur la dy EUNIS Manon y 
pour caractériser de manière différentielle vs a ds 
opinions de catégories particulières d'acteurs ou gre s 
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d'intérêt. Ces techniques peuvent être utilisées à différents 
stades de l'évaluation, surtout au début (diagnostic initial) et à la 
fin (mise en débat des conclusions et recommandations). Leur 
iMGËE por rapport à l'enquête par entretien est de permettre la 
prise en comple synthétique, rapide ct peu coûteuse, d’une 
pluralité de points de vue. Au plan technique, les méthodes de 
travail en groupe ont pour but d'optimiser la production d'infor- 
mation par les participants en stimulant ou neutralisant (selon 
les cas) les effets de la dynamique psychosociale du groupe. La 
maitrise de ces techniques n'est toutefois pas si évidente qu'il y 
parait : la plus grande attention doit être apportée à la compo- 
sition du groupe, à la Formulation des questions et à la qualité de 
l'animation. Les techniques les plus connues sont la méthode 
Delphi (consultation d'un groupe d'experts par voie postale avec 
interrogations successives visant à réduire progressivement les 
désaccords entre les personnes consultées) ct l'Abaque de Régnier 
{réunis dans un même lieu, les membres du groupe sont 


confrontés à un ensemble d’assertions qu'ils doivent « noter » au : 


moyen d'un code de sept couleurs), mais on peut sc contenter 
de réunir (physiquement ou virtuellement un groupe de discus- 
sion (focus group} pour analyser de manière qualitative l'attitude 
d'un groupe (d'experts, d'acteurs, de bénéficiaires d'une poli- 
tique, ete.) an regard d'une question. I suffit dans ce cas d'enre- 
sistrer ou de Lranscrire les échanges — plus ou moins orientés 
par un animateur — ct de procéder ensuite à leur analyse. 


la perspective ethnosociologique. — Quelle que soit la tech- 
nique d'interrogation utilisée, on ne peut espérer connaître 
précisément le comportement des gens en se contentant de 
recueillir leur expression verbale ou écrite. Certaines des 
réponses portant sur des faits vérifiables peuvent être 
confrontées à d'autres sources d'information, mais c'est loin 
d'être toujours le cas. La manière la plus commode, et Ja plus 
habituelle, de compléter cette information consiste, pour les 
membres d'une instance d'évaluation, à se rendre eux-mêmes 
sur le terrain pour discuter avec les protagonistes d’une action 
publique dans le contexte réel de cette action. On a ainsi la 
possibilité de confronter directement des observations brutes et 
les interprétations qu'en donnent les acteurs. Une autre façon 
de procéder, scientifiquement plus ambitieuse, consiste pour les 
chercheurs à s'immerger dans un processus d'action publique, 
afin d'observer la manière dont les gens se comportent en situa- 
lion, dans le contexte de l'activité que l'on cherche à analyser. 
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L'intérêt est double : il s'agit d'une part de | cr h ne 
qui s'attache à toute communication en A i a 
(l'enquêté se sent toujours en situation d MRSTTRS s e T 
part, d'identifier des faits ct attitudes dont la Fe mt ru ms 
n'aurait jamais l'idée de faire état. Nombre d 1 a n ee 
gestes routinisés sont en effet spontanément ses d “rs 
non pertinents par leurs ee es ar rar r 
Ë ence. C'est en particulier le 3 A 

O cntre k personnes et ce qu'il me i amoa 
sociaux sous-jacents. La seule manière p Ai ne or 
d'appréhender la réalité d'une situation 7. ce 3 p uen 
d'observer directement les processus pelatan s au ] aT 3 La 
tuent. En pratique, l'observation directe d'une situa Prenn ne 
l'immersion Ju chercheur dans un milicu so l 1 o ne 
accepte sa présence, Exemple : dans le cadre de . mo 
interministérielle de l'« accueil des populations : 2 
dans certains services publics » (1993), on a proc Se | ed 
tion en situation des comportements ct des sine + ES 
entre les usagers cl les agents de guichet dans un . nb 
d'établissements (poste, hôpitaux) accueillant le public. 


Les techniques de présentation des données 


Ces techniques recouvrent notamment la pi a 
tive, c'est-à-dire les techniques de présentation syn ' s HE 
l'information contenue dans un ensemble de HU Ss is 
tique descriptive comprend le calcul et l meinaa a ro 
mètres caractéristiques de la distribution des wa EuT: f i he 
unc variable observée : paramètres de cenrt ters v: ae 
médiane), et paramètres de dispersion (écart i 3 ne 
tiles, ctc.), ainsi que les techniques graphiques E 
grammes, graphiques...) Plus complexes et diffic ; S ne À 
que la statistique descriptive, les techniques A i LU 
données (analyse factorielle des correshondances, c x e A 
hiérarchique...) poren eee r aa o 

‘information. Elles on chie à 
ne RTE à partir des corrélations Se PE 
les unités observées ou entre les variables : us Fu ae e 
typologies, voire, dans certains cas, de nouvelles hyp 
interprétalives. 
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L'expérimentation et ses limites 


L'analyse des relations causales entre une politique el les 
modifications de l'état de la société dont elle est susceptible 
d'être la cause constitue le cœur de l’activité proprement tech- 
nique de l'évaluation. C'est la question la plus incontournable 
et généralement la plus difficile à traiter. Toute action visant à 
modifier l'état de la société interfère en effet avec une multi- 
tude d'autres facteurs ct, d'abord, avec les tendances d'évolu- 
tion endogènes du système que l'on observe. Dans la pratique 
de l'évaluation, on a souvent affaire à des systèmes sociaux 
complexes au sein desquels de nombreux phénomènes intera- 
gissent. Cette recherche ne peut aboutir à des résultats fiables 
que lorsque l'intervention publique agit sur un sous-système au 
sein duquel son cffet peut être isolé, décrit et modélisé de 
manière suffisamment simple. 

Pour prouver et quantifier une relation de cause à effet entre 
une politique el certaines évolutions constatées de l'état de la 
société, il faut répondre à la question : que se serait-il passé si, 
toutes choses égales d'ailleurs, la politique n'avait pas été mise en 
auvre ? Poser le problème en ces termes suggère le recours à un 
Protocole d'expérimentation. N s'agit, en d'autres termes, d'appli- 
quer à l'étude des effets de l'action publique un schéma déter- 
ministe analogue à celui qui prevaut dans les sciences de la 
nature. La démarche, rappelons-le, consiste à comparer deux 

situations qui ne diffèrent que sous l'angle du processus étudié. La 
démarche d'évaluation préconisée par les tenants de l’expéri- 
mentation est calquée sur la méthode d'évaluation des 
nouveaux médicaments. Elle ne s'applique qu'à un programme 
élémentaire, c'est-à-dire à une séquence bien identifiée 
d'objectifs, de dispositifs d'action (nommé « traitement» dans 
certains manuels d'évaluation), d'outputs et d'ontenmes. On 
constitue deux échantillons statistiquement équivalents (c'est-à- 
dire sélectionnés par Lirage aléatoire dans les mêmes condi- 
tions) de + cibles » du programme (personnes, entreprises...), 
l'un d'entre eux étant soumis au traitement du programme (la 
participation à une activité de formation, le bénéfice d’une aide) 
et l'autre non. Les variables représentatives de l'effet attendu 
{par exemple, les compétences acquises dans tel ou tel domaine) 
sont mesurées pour les deux échantillons avant et après le traite- 
ment. La comparaison de l'évolution constatée de ces para- 
mètres permet alors de se prononcer sur l'effet propre du 
programme. Ce mode d'établissement de la preuve reste valide 
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si la relation entre la cause et l'effet observé n'est pas pere 
niste mais seulement probabiliste, comme c'est le pias aae 
le cas (en biologie comme pour les programmes noue € dau e 
tenu de la variabilité des comportements et des ap 
tiques individuelles). Le cas échéant, le rie Lee 
tique permet d'exprimer en terme quantitalif Vine 
'attac ésultat. e 
) pe considérée camme la méthode dë ARE a 
matière d'évaluation, l’expérimentation est encore mae 
pratiquée aux États-Unis pour évaluer les programmes; se n ; 
ment sociaux et éducatifs. La tendance actuelle ses nd seul 
plutôt d'en souligner les limites. La première tient S Ta 
l'expérimentation ne concerne que les bai ae a S 
individus, des entreprises ou des territoires particu es : 
nombreuses mesures n'ont pas de cibles maigas isées as 
concernent d'emblée l’ensemble et d'une papalitan tpar 
exemple la construction d'une infrastructure de transpor m 
l'interdiction de la publicité pour l'alcool à la RENTRER Pa 
ailleurs, dans bien des cas, la nature même de Len 
publique fait que ses bénéficiaires ne peuvent être r n = L: 
manière discrétionnaire, Les aides au secteur produc - | 4 
exemple, ne sont accordées qu'aux entreprises qui en ss : 1 
demande. Ce mode de recrutement induit un biais he ny Be 
tion difficile à neutraliser. Il est vraisemblable e s 
prises qui sollicitent une aide n'ont pas, en sen a is 
profil économique que celles qui ne font pas ceug d em i 
Une autre limite réside dans la difficulté de garantir je i j n d r 
tibilité des conditions dans lesquelles a été menée l ET ; 
tation. La transposition des résultats d'une « ie er ser 
à la mise en œuvre banalisée d'un programme suppose AD | ni 
contrôle l'effet du contexte particulier de cette enpor nee a 
d'être certain que ce que l'on mesure est bien | SS du Mr 
cipe d'action simple » de la mesure évaluée |i 20 A 
Dans le cas des programmes sociaux dont 1 ellik cilé pa ; ra 
Ja mobilisation des acteurs, Cest une vraie difficulté. y fai o 
participer à une expérience est un facteur de motis a manie 
peut améliorer les résultats du programme. PIERRE a 
pose enfin des problèmes de délais et donc rs ra Y 
À cela s'ajoute une considération relative à luti ps d 7 
résultats des évaluations : l'expérience suggère que Uana y a 
fonctionnement du programme est aussi Ga C à 
pratique, que la mesure (presque toujours impréei 
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incertaine) de ses rés 
rer ine) de ses re sultats. Or, celle analyse n'a de pertinence 
qu'effectuée en situation récile. 


Une approche peu utilisée en Europe. == En Europe. l'egpéri- 

mentation est généralement considérée comme peu praticable 

Aux difficultés mentionnées ci-dessous s'ajoute un dhstadio 

ethica- juridique qui n'est pas perçu de la même manière des 

deux côtés de J'AUlantique. A-t-on le droit de faire jouer le inasar 

lorsque l'intérêt des individus est en jeu ? Le problème est di 

sique pour l'expérimentation médicale (et il a fait l'objet dan 

traitement juridique spécifique) mais il existe également pour 
des programmes sociaux, En France, malgré un regain d'intérêt 
depuis quelques années, les expérimentations aige groupe de 
contrôle demeurent rares. Les principanx domaines d'applica- 
tion récents sont la politique de l'emploi (progranimes d'aide au 

retour à l'emploi el d'accompagnement des chômeurs a 
social d'activité) ct la politique d'aide aw Hévelappenent 

Dans l'ensemble, les évaluateurs ct chercheurs Carpéens ont 
une attitude plus sceptique que leurs collègues américains vis-à- 
vis des apports scientifiques de l'expérimentation sajale À cel 
égard, on peul considérer comme représentative cette opinion 
d'un expert britannique au sujet du rôle de l'expérimentation 
dans le domaine des politiques sociales : 

Ks On peut attendre de l'expérimentation qu'elle fornisse des 
résultats clairs seulement dans les situations où la politique est 
snit évidemment efficace, soit un irrémédiable desta Même 
dans aes cas, les résultats peuvent très bien être ambigus si 
RAR ARnenenE de la politique est complexe ou susceptible 
d'être affecté par des changements cxogèncs, iels qu'une 
migmentation ou une chute de Ja demande aE, Qui plus est 
lorsqu il y a un besoin d'évaluer des ctfets de système (spin 
wide efferts) ou des cifets au niveau du comportement indivi- 
del, l'expérimentation n'a pas grand-chose à offrir. De plus, il 
n est pas súr que les résultats d'une étude cnfñts-avantages — ue 
} expérimentation seule permet — puissent être agrégés au 
wiven national avee un degré de fiabilité suffisant. Si tonnou 
: £ gs l'expérimentation est coûteuse el longue, il devient 
tés € ie ile de recommander que l'expérimentation devienne 
un outl d'usage fréquent pour développer la politique de Sécu- 
rité sociale, a En effet, même si l'on parvient à suco PRE E 
am pratiqu es, «il est peu vraisemblable que les FETE 
et le risque inhérent à la décision politique 
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En dépit de ces limites, il reste utile de mener des études pilotes 
avant la mise en uvre généralisée d'une politique. Mais 
l'objectif est alors moins de mesurer les effets de celte politique 
que d'anticiper la noture de ceux-ci de manière plus réaliste. 
Dans ces conditions, l'exigence d'une comparaison entte deux 
échantillons statistiquement équivalents peut être relalivisée : 
a fl n'est pas du tout certain que les éludes pilotes doivent 
prendre la forme de protocoles expérimentaux ou quasi expéri- 
mentaux (qui se heurtent à beaucoup des problèmes rencontrés 
dans l'expérimentation véritable). Il est difficile de justifier le 
coût supplémentaire de l'expérimentation comparée à d'autres 
approches. Dans bien des circonstances, il est vraisemblable que 
les protocoles avec un seul groupe (NDT : sans groupe témoin), 
tels que pratiqués dans les études pilotes administratives, 
peuvent suffire pour produire l'information nécessaire à 
l'évaluation prospective de la politique ; à savoir répondre à des 
questions telles que : “Avec quel effet apparent ?" et “À quel 
coût unitaire ?” » {[Walker, in CSE, 1998, p. 461. 

Lorsque les conditions d’une expérimentation ne sont pas 
réunies, il est parfois possible de se placer dans une 5 tuation 
équivalente du point de vue statistique en sélectionnant deux 
échantillons comparables au scin d'une population nombreuse 
comprenant des participants et des non-participants au 
programme. i ne s'agit donc pas exactement d'une expérimen- 
tation puisque le tirage aléatoire ne décide pas de la participa- 
tion au programme, mais de l'inclusion dansle protocole de 
mesure. Si la participation au programme te résulte: pas d'un 
choix personnel, comme c'est souvent le cas pour les expérimen- 
tations pédagogiques, ON est très proche des conditions de 
l'expérimentation vraie. Le ministère de l'Éducation nationale 
a réalisé de 1989 à 2007 une évaluation systématique du niveau 
des élèves dans les matières de base (lecture et mathématiques) 
à l'entrée en CE2 et à l'entrée en sixième. Dans lé cadre de 
l'évaluation de Ps aménagement des rythmes de vie des 
enfants » (1993), il a été procédé sur la base de ces données à 
une comparaison de l'évolution des acquis des élèves dans les 
matières de base entre deux échantillons d'établissements 
comparables et tirés au hasard, l'un composé d'établissements 
hénéliciant de la politique et l'autre d'établissements n'en héné- 
ficiant pas. LES résultats obtenus ont établi de manière robuste 
l'absence d'effet significatif de la politique sur le niveau scolaire 
moyen des élèves, tout en suggérant un effet faiblement positif 
pour les enfants les plus en difficulté [CGP, 1993. 
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Observons pour conclure que l'on pourrait recourir plus large- 
ment à expérimentation pour évaluer des mesures incitatives 
simples visant des effets comportementaux simples ct ciblés 
À titre d'exemple, en Inde, l'évaluation d'une mesure d'inc i- 
tion à la vaccination a permis de montrer que la distribution 
d'un kilo de lentilles aux parents pouvait faire passer le faux de 
vaccination des enfants de 17 à 38 %, loutes choses égales pat 
ailleurs [Banneriee et at., 2010]. Comme domaines concernés 
on peut citer la formation, la communication, la lutte contre la 
délinquance Cf la prévention sanitaire (cf. encadré). 


ta comparaison de groupes non équivalents. — Même lorsque 
Pa expérimentation vraie » se révèle impossible, l'évaluation 
doit chercher à s'appuyer Sur des comparaisons. Les évalua- 
teurs sont donc souvent conduits à effectuer des mesures 
comparatives SUr des gronpes NON équivalents, c'est-à-dire des 
groupes dont te mode de constitution n'est pas neutre vis-à is 
des effets attendus du programme. C'est le cas par exemple 
lorsqu'on compare les parcours d'insertion suciaprofession- 
nelle de chômeurs ayant bénéficié d'une mesure de formation 
d'un contrat aidé ou d'une aide à l'embauche. Les conclusions 
que l'on peut tirer de telles comparaisons sont fragiles, Jans Ja 
mesure où l'orientation des demandeurs d'emploi vers tel où tel 
dispositif dépend de caractéristiques (âge, formation, durée de 
chômage, motivation...) qui ne sont pas sans influence sur la 
probabilité de retrouver un emploi. Le fait que les contrats aidés 
en entreprise produisent de meilleurs résultats apparents que les 
emplois aidés dans le secteur non marchand ne signifie pas 
qu'ils sont toujours préférables. 

Dans certains Cas favorables, on peut cependant neutraliser 
Je biais de sélection. En pratique, deux méthodes sont utilisées. 
La première consiste à affiner les critères de sélection pour 
rendre les deux populations aussi comparables que possible au 
regard des paramètres pertinents observables. La seconde 
consiste à introduire les variables susceptibles d'expliquer la 
participation au programme comme variables explicatives 
exopènes dans un modèle global du phénomène à évaluer 
qef. infra). 


Corrélation et causalité : les chausse-trappes de la modélisation 
La modélisation peut être considérée, selon les cas, CORÎME une 
alternative ou comme un complément à expérimentation Les 
données permettant l'estimation du modèle peuvent être 


/ 
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Réduction du risque de sida 
chez les jeunes homosexuels 


Projel financé par le National Institute 
of Mental Health Grant, San Francisco. 


Description du projet 


Le but de ce projet est de mener 
une évalualion 2Vec groupe de 
contrôle aléatoire d'une intervention 

our réduire les conduites à risque 
chez les jeunes homosexuels de San 
Francisco. De précédentes recherches 
montrent que ces hommes n'ont pas 
encore été suffisamment touchés par 
les efforts de prévention et que beau- 
coup d'entre eux continuent à prati- 
quer la pénétration sans protection. Le 
modèle de réduction des risques (AIDS 
Risc Reduction Model ~- ARRM) a été 
utilisé pour quider la modification des 
interventions existantes et formuler 
des hypothèses de recherche. L'inter- 
vention à été modifiée (sur la base 
d'une synthèse préliminaire des études 
disponibles et de données sur les 
graupes cibles) Pour ta rendre plus 
adaptée à l'âge et à la culture des 
groupes visés (les homosexuels appa" 
tenant aux minorités ethniques). si 
l'on arrive à prouver que la participa- 
tion au programme « Stop AIDS > 
entraîne Une réduction des risques 
chez les jeunes homosexuels, ce 
modèle de prévention d'un bon 
rapport coûts-efficatilé et bien accepté 
par les intéressés pourrait être utilisé ! 
pour réduire le risque sexuel parmi les 
jeunes à risques. 


Méthode 
Les trois sessions d'intervention 


seroni mises en œuvre CN tant que 
partie du projet stop AIDS, conduit 


par une organisation issue de la 
communauté homosexuelle qui a 
obtenu des succès remarquables dans 
ja réduction des comportements à 
risque chez ies homosexuels Wi 
bisexuels de San Francisco au cours 
des années 1980. Le modèle Step 
AIDS repose sur des groupes de tacili- 
tateurs composés de volontaires 
recrutés au sein de la population cible. 
Ces groupes animent des discussions 
sur le sida, la communauté gay et ce 
que les homosexuels peuvent faire 
pour arrêter l'épidémie. Les jeunes 
hommes on! été répartis de manière 
aléatoire entre deux groupes, un 
groupe d'intervention (stop ADS, 
n = 160) et un groupe de contrôle 
(discussion sur la cullure gay, D 7 170) 
Les groupes d'intervention traitent des 
sujets suivants : connaissance des 
risques sanitaires, autoprotection, 
perception de l'action du groupe 
support et statut HIV, en 58 focalisant 
sur les besoins particuliers des jeunes 
homosexuels. Tous les participants 
seront évalués au début du pr 
gramme, après yintervention el au 
bout de douze mois par interrogation 
téléphonique. L'impact de interven- 
tion sur le comportement sexuel et les 
changements concernant les variables 
ARRM seront mesurés soparement 
pour les jeunes homosexuels blancs, 
hispaniques afro-américains et asia 
tiques. Environ g 000 hommes sonl 
contactés €! 1 800 participent aux 
ateliers. Les taux de pénetration anale 
non protégée (déclarés par les iwé 
ressés) ont diminué après les ateliers 
de 25,1 % à 19,4 %, avec des dille- 
rences plus marquées Pour les 
hommes séroposilifs University of 
California, 1998]. 


Source © www eas uest edu 
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d'origine adipinistrative, issues d'un protocole expérimental ou 
de plus souvent), d'un protocole pseudo-expérimental (compa- 
raison de groupes non équivalents). M n'entre pas dans l'objet de 
Le livre d'eaposer, Même de manière mŘimentaire, les fonde- 
ments et techniques mathématiques de l'estimation statis- 
tique. Pour en rester à une idéc simple, on retiendra que 
l'estimalion d'un modèle consiste à calculer les valeurs les plus 
probables des coefficients du modèle au vu des valenrs observées des 
différentes variables. L'estimation de modèles linéaires est très 
largement utilisée en économic, d'où le vocable ccanométrie 
parfois utilisé pour désigner cette branche particulière de la 
statistique mathématique. On parle également de régression 
multiple où d'analyse multivariéc. 

Pour estimer un modèle, il faut disposer d'un ensemble de 
données qui s'y prête. L'analyse macroéconomique utilise géné- 
ratement des séries temporelles de données agrégées (telles que les 
séries ÉCONOMIQUES tirées des comptes nationaux). On peut 
utiliser le même type de données et de techniques pour estimer, 
par exemple, l'impact de la fiscalité sur l'emploi. Le plus 
souvent, les modèles utilisés pour évaluer les politiques repo- 
sept sur des données individuelles (es mêmes variables sont 
observées pour un grand uombre d'individus). Dans Les modèles 
a donnees individuelles, la variable représentant VPeffet de la 
politique est une variable binaire (prenant les valeurs 1 ou 0 selon 
que l'individu participe ou non au programme). Le coefficient 
de la variable binaire, s'il est statistiquement significatif, fournit 
alors directement une mesure de l'effet du programme. Dans le 
cas le plus fréquent, tes données résultent de plusieurs observa- 
tions successives d’un même panel constitué d'individus partici- 
pant ou non au programme. 

it ne laut jamais perdre de vue yue la bonne qualité d'une 
estimation statistique (évaluée par les tests statistiques usuels) ne 
suffit pas à prouver ja validité d'un modèle. Elle prouve seule- 
ment que ce modèle est compatible avec les données observées. 
En d'autres termes, lorsque deux variables sont corrélées, il est 
possible que l'une soit la cause de Vautre, mais ce n’est pas du 
tout certain. Les méthodes d'estimation statistique ne donnent 
des résultats fiables que lorsqu'on les applique à un modèle 
convenablement spécifié, cohérent et reposant sur de solides argu- 
ments théoriques. Ce qui signifie, notamment, que l'on est 
certain d'avoir pris en compte les principales varables explica- 
tives et que celles-ci ne sont pas influencées par la variable 


expliquée. Or, dans la réalité sociale, les variables sont souvent 
mutuellement dépendantes. 


Des méthodes qualitatives pour évaluer l'impact 


Certains évalualeurs pensent que seules les méthodes quanti- 
tatives permettent d'évaluer rigoureusement l'impact d'une 
mesure. Il existe pourtant de nombreux exemples d'évalua- 
tions d'impact fondées sur des méthodes qualitatives. U est 
possible, par exemple, de procéder à des analyses compäratives à 
partir d'un petit échantillon de bénéficiaires et de non-bénéfi- 
ciaires d'une intervention judicieusement choisis (un « échan- 
tillon de jugement »), la compréhension approfondie de chaque 
situation individuelle compensant l'inconvénient de ne pas 
disposer de deux groupes représentatifs et comparables. Une 
telle méthode a été utilisée pat VAFD pour évaluer un projet de 
développement agricole en Guinée |Delarut 2007]. Cette 
approche s'apparente à la realistic evaluation de Pawson et Tilley, 
dont l'idée de base est qu'il est plus utile de comprendre 
comment les leviers d'action d'un programme opèrent en inte- 
raction avec un contexte particulier que de tenter de mesurer 
son efficacité dans l'absolu : « L'évaluation réaliste 4.1 trans- 
forme la question “Est-ce que ça marche ?” en une dute gues- 
tion : “Qu'est-ce qui marche dans le programme, et pour qui ?” » 
[Pawson el Tilley, Z001, p- 109]. 


L'analyse de contribution. — Comme on la indiqué au début 
de ce chapitre, l'évaluation consiste à combiner méthodique- 
ment des arguments plausibles et/ou scientifiquement délen- 
däbles. On est ainsi conduit à hiérarchiser des obsérvations et 
des éléments de preuve pour parvenir à des conclusions raison- 
nables sur les effets d'une action. Cette démarche de bon sens 
a récemment fail l'objet d'une systématisation plus poussée sous 
Ja dénomination d'analyse de contribution gcontribritiont unalysi. 
[Mayne, 2010p. Schématiquement, l'analyse de contribution 
consiste à élaborer des chaînes d'arguments logiques et à les 
soumettre à une analyse confirmatoire rigoureuse- Les princi- 
pales étapes de la démarche sont les suivantes : formaliser les 
liens de cause à effet supposés (en s€ fondant sur le diagramme 
logique d'impact — DL — cf. chapitre précédent) ; rassembler 
et hiérarchiser les éléments de preuve relatifs à chaque cause 
envisagéc ; procéder à la même opération pour les explications 
alternatives des impacts constatés ; élaborer un raisonnement 
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formel pour choisir entre les différentes explications concur- 
rentes el soumettre ce raisonnement à une critique systéma- 
tique. Celle méthode peut être vue comme une lormalisation de 
la conception de l'argumentation évaluative exposee au début 
de ce chapitre. 


Les techniques de décision 


Les techniques de décision sont des méthodes de quantifica- 
tion qui permettent de porter un jugement global sur le bien- 
fondé d'une mesure ou, le plus souvent, pour classer différentes 
mesures ou scénarios comparables, Elles sont plus utilisées dans 
les études d'impact (ex ante) que dans les évaluations ex posl. 
Les plus importantes sont l'analyse coûts-efficacité et l'analyse 
coûts-avantages, qui permettent de quantifier l'efficience du 
programme (de manière intrinsèque dans le premier cas, relative 
dans le second). Dans les deux cas, la première étape consiste à 
estimer son coût, ce qui peut se révéler dilficile lorsque la comp- 
tabilité budgétaire n'a pas été conçue dès le départ pour suivre 
les dépenses correspondantes. 

L'analyse coûts-avantages compare l'ensemble des coûts 
publics et privés et les hénélices du programme dans le but de 
déterminer si les bénéfices excèdent les coûts, el si oui de 
combien. [convient d'insister sur le fait que l'analyse coûts- 
avantages présuppose une mesure des impacts du programme. 
À supposer que l'on ait franchi cette étape, il reste à résoudre 
la difficile question de la valorisation monétaire de cet impact 
(qu'en est-il, par exemple, du prix de la vie humaine ou, plus 
banäalement, de la valeur du temps gagné ?). L'économie publique 
est la discipline qui a pour objet de fonder rationnellement diffé- 
rentes méthodes de calcul de la valeur économique des biens 
collectifs et autres avantages produits par l’action publique 
{parmi d'autres approches, on peut chercher à estimer le 
«consentement à payer » des contribuables pour bénéficier de 
tel ou tel service collectif). 

L'analyse coûts-efficacilé se différencie de l'analyse coûts-avan- 
tages par le fait qu'elle n’exige pas de traduire les bénéfices en 
terme monétaire. Elle se limite à comparer les coûts nécessaires à 
la réalisation d'un certain niveau de résultat pour différentes 
politiques (on peut aussi dire que l'on raisonne en cont d'oppor- 
tunité : on aurait pu faire autre chose avec les mêmes Jonds 
publics). Par exemple, il est usuel de comparer les différents 
programmes de lutte contre le chômage en termes de « coût de 
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l'emploi créé » ou de «coût du chômeur évité ». Dans un autre 
domaine, an peut comparer les mesures prises pour CEONOINIRET 
l'énergie qui peuvent être évaluées en termes de + coût de la Tep 
(tonne d'équivalent pétrole) économiste ». í 

L'analyse multicritère fournit une méthode de decision synthe- 
tique fondée sur la prise en compte de plusieurs critères 
d'évaluation hétérogènes (impact économique, social, envi- 
ronnemental, institutionnel, de caractère quantitatil ou quali- 
tatif...). Concrètement, la méthode consiste à choisir un système 
de notation et de pondération des différents critères, dont on 
peut déduire un indice synthétique. La faiblesse dé l'analyse 
multicritère provient du fait qu'il est impossible de justifier 
sationnellement Ie choix et la pondération des critères hétéro- 
gènes. I est préférable de la considérer comme un outil de simu- 
lation et d'éclairage de la décision permettant aux décideurs de 
tester les conséquences du choix et de la pondération d'un 
ensemble de critères de jugement. 

De ces trois méthodes, l'analyse coûts-efficacité est la plus 
utile, parce qu'elle fournit des conclusions robustes ct peu 
dépendantes de préférences cachées. L'analyse coûts-avantages, 
en revanche, repose sur des hypothèses presque toujours contes- 
tables, comme l'illustre Pexemple suivant : en r91, Laurence 
Summers, alors économiste en chef à la Banque mondiale, 
recommandait que la Banque encourage le transfert des indus- 
tries polluantes dans les pays en développement, Il se foncait sur 
l'idée selon laquelle «la mesure des coûts de santé liés à la pollu- 
tion dépend des pertes économiques dues à un accroissement 
de la morbidité el de la mortalité. De ce point de vue, un 
montant donné de pollution doit être fait là où les salaires sont 
les plus bas. Je pense que la logique économique qui sous-tend 
Fexportation des nuisances toxiques dans les pays à bas salaire 
est impeccable et que nous devons la prendre en compte » 
ISummers, cité par House, 2000, p. 791. Le présupposė am 
jacent est que le bien-être est la somme de satisfactions indivi- 
duelles. Or, pour mesurer le degré d'insatisfaction créé par la 
pollution, les économistes se fondent sur le consentement à 
payer pour éviter cetle nuisance. Celui-ci étant moindre jus 
les pays pauvres que dans les pays riches, la perte de RIRE 
est moindre si l'on pollue les pauvres ! Le raisonnement est 
logique, mais il n'est pas moralement défendahle, parce qu n se 
place du point de vue abstrait d'un bien-être global ignorant 
celui des victimes de la pollution. Or, c'est bien au nom des 
droits de Phomme que certaines formes d'échange monétaire 
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Apport de da modélisation 
daos de eade d'un protocole 
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L'évohration dir School-Based Adoles- 
cent Health Care Program 

financé pur une fondation, €e 
proaromme visait à encourager les 
commpunoutes ef les écoles à déve- 
lapper les soins en milieu étudiant. 1 
s'agissoit de montrer que des centres 
de senté peuvent êlre créés el lono 
tionner dans des communeutés 
pauvres, d'omehorer l'occre des 
etudionts aux services médicoux et de 
réduire Ies comportements à risque, y 
compris Tusage de drogue El l'activité 
sexuelle non protégée, chez Îles 
adolescents. 

-Dix-huit unités de soins (Jepar- 
tements de santé publique, hôpitaux 
publics et centres de santé commw- 
nantan) ont été financées pour être 
les operateurs du programme dans 
vingt-quatre établissements d'ensei- 
qoement supérieur (junior and senior 
high schonts) situés dans des villes de 
plus de 100 000 habitants [...]. Pour 
ovaluer le programme, an a cherché 
a mevier son influence en compa- 
rant les résultats pour des étudiants 
suivis dans des écoles avec centre de 


santé à des estimalions de ce que ces 
résultats auraient étê pour des 
étudiants ayant évolué selon li même 
tendance que la moyenne des 
étudiants au niveau national. 

Les résultats mesurés sont presque 
tous binaires (par exemple, est-ce 
que la personne interrogée a 
consommé de l'alcool où a eu des 
relations sexuelles non protégées au 
cours des derniers mois). Nous avons 
donc utilisé un modèle Logit pour 
estimer dans quelle mesure la proba- 
bilité d'avoir ces comportements 
diffère pour des étudiants suivis dans 
des écoles à centre de santé, 

Prob (Y = 1) = 1/01 + exp 
Ga-bX- ce. dk - MCE), 

Y est la variable binaire représen- 
tant le comportement à ibserver ; xX 
esl un vecteur représentant les carac- 
téristiques de l'étudiant ; HC est une 
variable binaire indiquant ii l'étudiant 
est suivi dans une école 4 centre de 
santé ; f est une variable binaire indi- 
quant si les données sont tirées de 
l'enquête de suivi ou du bilan initial ; 
HC'E est l'intéraction de HC et de F; 


et a, b, c, d, el f sont les paramètres 
à eslimer. Les caractéristiques de 
l'étudiant incluent le sexe, l’apparte- 
nance ethnique, le niveau d'éduca- 


tion de la mère, le type de couverture 


sont considérées comme illégitimes (organes humains, travail 
des entants, prostitution, ete). H n’est par ailleurs pas certain 
que Ta solulion proposée serait réellement favorable au bien- 
ètre global à moyen terme, les pays riches étant moins forte- 
ment incités à développer des techniques permettant de réduire 
la pollution. 
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sociale, la laille du ménage, le statut 
socioéconomique, l'avance ou le 
retard dans le cursus scolaire avant le 
début du programme. Certains 
modèles incluent également des indi- 
cateurs d'étal de santé et des indica- 
teurs de prise de risque (indiquant si 
V'éludiant est sexuellement actif et s'il 
a bu de l'alcool récemment). [.-.] 

En utilisant ce modèle, on a 
estimé les pourcentages ajustés de 
jeunes dans les érales à centre de 
santa qui présentaient des comporle- 
ments négatifs initialement et au 
moment du suivi Les pourcentages 
ajustés fournissent les probabilités 
moyennes prévues par le modèle, 
calculés selon diverses hypothèses 
relatives à leur groupe (bénéficiaires 
ou population générale) et à la 
période d'observation (initiale ou 
suivi). Le pourcentage ajusté permel 
de neutraliser l'impact des caracté- 
ristiques personnelles sur les diffé- 
rences de comportement observées 
entre les deux groupes d'éludiants. 
On a testé la significalivilé statistique 
des différences entre les résultats 
ajustés. Pour les différences lors du 
bilan initial entre les étudiants des 
deux groupes, on a testé l'hypo- 
thèse de nullité du coefficient de 
l'indicateur “contre de santé” (c). 


Pour le suivi, on s'est interesse princi- 
palement à la difference entre le 
niveau ajusté du résultat pour les 
étudiants bénéficiaires rl le niveau 
attendu de ce résultat si leur compor- 
tement avait evolue de la même 
manière que celui de la population 
générale des jeunes uibains. Pour 
cela, on a testé l'hypothèse de nullité 
du coefficient de l'indicateur d'inter- 
action “centre de santé-suivi” (1). 
En utilisant ces méthodes, on a éludié 
les effets du programme SBHC pour 
différents types d'impact (recours 
aux <oins, activité sexuelle, gros- 
sesses el naissances, consommation 
de drogues, assiduité el resultats 
scolaires). Les analyses montrent que 
les étudiants des écoles de Vérhan- 
tillon reçoivent plus de s@ins au COUFS 
de l'année précédent enquête de 
suivi que la moyenne des jeunrs Pal 
En revanche, les résullals ne 
montrent pas clairement que les 
centres de santé réduisent l'activité 
sexuelle ou accroissent l'utilisation 
des contraceptits. De méme, les 
comparaisons concernant l'usage de 
drogue ne montrent pas de difé- 
rence significative. v 


Source : Kisker et Brown [1 997}. 
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Les origines américaines 


Aux États-Unis, les premières évaluations scientifiques de 
programmes publics datent du début du siècle dernier. En 1912, 
deux chercheurs évaluent la formation des professeurs de 
mathématique en comparant deux échantillons avant ou non 
suivi une formation spéciale Dès 1932, le modèle conceptuel de 
l'évaluation est celui de l'expérimentation sociale, formulé par 
Ralph Tyler à l'occasion d'une grande étude expérimentale 
portant sur l'efficacité pédagogique de deux programmes 
scolaires [Monnier, 1992, p. 20]. Dans les années 1960, F'évalua- 
tion est promue outil de contrôle et d'optimisation des dépenses 
publiques dans le cadre du PPBS (Planning Programming Budge- 
ting System, équivalent américain de la rationalisation des choix 
budgétaires dont il sera question au chapitre suivant). Créé en 
1921, le General Accounting Office (GAO) — institution homo- 
logue des Cours des comptes européennes, dépendant exclusi- 
vement du Congrès — s'affirme à partir de 1970 comme un 
acteur central de l'évaluation (cf. encadré). Dans les années 1970 
et 1980, le nombre des évaluations menées par le GAO el par 
l'OMRB (Office of Management and Budget, agence du gouverne- 
ment fédéral) s'accroît rapidement, ainsi que Jeur impact sur les 
décisions budgétaires. Le Congrès est en première ligne, mais 
l'exécutif n'est pas en reste. Ainsi, en 1981, une décision prési- 
dentielle (executive order 12 291) impose aux agences fédérales 
d'évaluer les coûts et les bénéfices induits par les mesures régle- 
mentaires relevant de leurs attributions, sous le contrôle tech- 
nique de l’'OMB. À partir de ce pôle fédéral, la pratique de 
l'évaluation s'est progressivement étendue à tous les niveaux de 


gouvernement (administration fédérale, États, collectivités 


3e pv an 
£ P'NALHATION DES POUITIQUES PHRLIOUES 


évaitrati ri 
L'évaluation du Propam Assesment Rating Tool par le GAO 


Au vu de leirs résultats, PART classe les programmes fedéranx en cinq calé 
garies : efficace, modérément efficace, acceptable, récultats non a t 4 
pos Une Evaltration du programme PART par le GAO (2005) co 
$ i p procédure a incité les agences à améliorer leur capacité d'évaluation 
a NE a sur les résultats des programmes. Le GAO émet cependant 
à tp r ere sont mieux utilisées 
la performance est un élément de nie ee E 
programmes fédéraux qu'ils se soumetlent à des EEVA Eu o S P 
d'aboutir à des revues superficielles de peu d'utilité tout en sr ve 
FU s salurant la capa- 
pa ar a es.» On ne saurait mieux pointer l'enjeu d'un os 

j 3 3 $ permanent des résultats à des fins de compte rendu el 
d'autre part, l'évaluation rigoureuse et approfondie des actions n 


territoriales) ct aux organisations non gouvernementales. Li 
présidence Bush a été marquée par un recentrage des ag . x : 
lédérales sur des activités d'audit et de mesure de den ares 
Devenu en 2004 le Government Accountability Office, lc SAO 
a supprimé sa division spécialisée dans l'évéhétian d 
programmes, L'évaluation des politiques et programmes fédé. 
raux fait toujours partie de ses missions, mais son a sjvité 
semble désormais davantage centrée sup là pere ks 
Stats conduites dans les agences raderas De E 
en 2004, OMR a mis en place une procédure de de z 
programmes fédéraux (Program Assessment Roting Tool PART), 
fondée sur une approche de la performance qui pak arail 
simpliste au regard des standards de l'évaluation de pro a 5 
tf encadré). Plus récemment, l'administration Die à Luc 
la Voluntary Fiscal Year 2011 Evaluation Initiative, destiné a 
«inciter les agences, sur la base du volontariat, à Reon des 


informations additionnelles sur la performance des 
a 


programmes, el à prévoir ct demander des budgets dédiés à 1 
= deg ie d'évaluations prioritaires » |Deloitle Conscil 26131 
a sf An TA du niveau fédéral pour promouvoir une 
valuation plus proche de la mesure de performance à des fij 
d economies budgétaires ne semblent pas avoir affecté la Jh 7 joe 
nomic générale des activités d'évaluation aux États-Unis. A 
| ul plan méthodologique, le modèle originel de l'évaluation 
esl lexpérimentation. Evaluer un programme, c'est us 1 

sc entifiquement son efficacité en observant l'évoluti ie 
Variables d'impact pour deux échantillons Report 
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comparables de bénéficiaires et de non-bénéficiaires 
(cf. chapitre m. L'évaluation est comprise avant tout comme une 
activité de mesure n'accordant qu'une faible place aux aspects 
qualitatifs : « Dans les années 1960, on accordait pen d'impor- 
tance aux méthodes qualitatives en évaluation. Ilen étail rare 

ment fait mention. À cette époque, l'enjeu central de 
l'évaluation était d'“étalonner la boîte noire" Uhe black box 
task) : produire des estimations précises ct non biaisées des 
conséquences causales des programmes et de leurs principaux 
constituants. La méthode de référence pour y parvenir était 
expérimentation, et les techniques analytiques les plus utilisées 
étaient les techniques quantitatives » [Cook, in CSP, 1996b, 
p. 831. Cependant, dès 1980, la supériorité de l'évaluation expé- 
rimentale ne fait plus l'unanimité. Satisfaisantes sur le plan 
scientifique, les études coûtent cher et peuvent durer des 
annécs. L'opinion actuellement dominante chez les évalua- 
teurs américains est que l'expérimentation n'est pas toujours le 
meilleur moyen d'obtenir des informations utiles sur la mise en 
œuvre, la pertinence ct l'efficacité d'un programme. L'évalui- 
tion se développe aujourd’hui sous des formes diversifiées ef les 
méthodes qualitatives ct participatives ont pleinement droit de 
cité. Deux spécificités américaines, cependant, persistent depuis 
l'origine : l'évaluation est un marché florissant et concurrentiel 
et les questions de méthode jouent un rôle central dans la struc- 
turation du milieu : «L'évaluation est un service à vendre et la 
réputation méthodologique est Fun des arguments de vente du 
produit» [Pollitt, in CSE, 1998, p. 26]. 

Malgré les progrès récents de l'évaluation en Europe, l'avance 
américaine demeure incontestable. Elle se manifeste à l'observa- 
teur par la vitalité du milieu professionnel (l'American Evalua- 
tion Association compte plusieurs milliers de membres), par le 
nombre et la qualité des publications spécialisées et par 
l'ampleur des débats théoriques autour de l'évaluation. Au plan 
des pratiques elles-mêmes, c'est encore aux États-Unis que l'on 
trouve le plus d'évaluations reposant sur des protocoles de 
recherche ambitieux et des études empiriques de grande 
ampleur (cf. l'exemple des politiques d'emploi et de formation 
étudiées par Perez [20011). Enfin, en dépit de limites maintes 
fois soulignées par les chercheurs en sciences politiques 
(cf. chapitre v), tout indique que l'influence pratique de l'évalua- 
tion est plus importante qu'en Europe. 

Plusieurs facteurs propres aux États-Unis expliquent le dyna- 
misme de l'évaluation et son développement précoce. Le plus 


SAR L'ÉVALUATION DES POLITIQUES PUBLIQUES 


que, compte tenu du fait que les 


La conversion du General programmes s'élaient fortement 
Accounting Office développés en qualre ans, leur pilo- 
à l'évaluation de programme tage administratif devait être substan- 


tiellement renforcé. Les rapports sur 
« Avec VFaugmenltalion des dépenses les programmes de lutte contre la 
publiques sous l'administration  pauvrete ont été généralement bien 
Johnson, le Cangrès eut besoin accueillis et le Congrès 1 avalisé 
de plus d'information sur les pro- l'évolution du GAO vers l'évalualion 
grammes du gouvernement, En de programme à l'occasion du Legis- 
1967, des amendements à l'Economic lative Reorganization Act de 1970. Le 
Opportunity Act de 1964 fixèrent pour personnel du GAO, majoritairement. 
mission au GAO d'examiner les constitué d'auditeurs et «ie comp- 
programmes de lutte contre la tables, à commencé à changer de 
pauvreté pour évaluer leur elficience profil pour s'adapter aux nouvelles 
et le degré d'atteinte rle leurs missions de l'agence. Dans les 
objectifs. Le 18 mars 1969, le GAO années 1970, le GAO a recruté des 
remetlail au Congrès un rapport scientifiques, des chercheurs en, 
de synthèse, suivi ultérieurement sciences sociales, des spécialistes de 
de soixante rapports particuliers. l'informatique et des experts dans 
À l'occasion de ces évaluations, des domaines tels que la santé, les 
l'Office a examiné de nombreux politiques publiques et le manage- 
programmes. Il a montré que certains ment de l'information. Dans les 
d'entre eux permettaient des progrès années 1980, la plupart des audi- 
mais avaient besoin d'un meilleur teurs et spécialistes du management 
management, d’autres oblenaient de l'agence ont été reclassés en 
des résultals partiels, tandis que  évaluateurs pour refléter la variété des 
d'autres encore élaient moins effi- tâches du GAO. » 
caces qu'attendu compte tenu de 
l'argent dépensé. Le GAO concluait Source : www.ga0.0rq 


décisif est peut-être la faible légitimité des interventions publiques, 
d'où découle l'exigence d'apporter la preuve de leur efficacité. 
Contrairement à la France où l'État n'a pas à justifier a priori 
son intervention dans tout domaine où l'intérêt général est en 
cause — el où le débat public porte davantage sur les recettes 
fiscales que sur les dépenses publiques —, les pouvoirs publics 
américains ne peuvent agir qu'en fonction d'objectifs précis et 
de manière toujours révocable. Le programme — mis en œuvre 
pour une durée déterminée, avec des moyens fixés de manière 
limitative et des objectifs précisément formulés — est la forme 
privilégiée de l'intervention publique. Or, un programme bien 
cadré est un objet formaté pour l'évaluation. Dans le même 
ordre d'idée, la rivalité entre les pouvoirs législatif et exécutif 
et la relative faiblesse des moyens permanents dont dispose ce 
dernier ouvre un espace aux évaluateurs. Contrairement à un 
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pays comme la France, l'appareil administratif central n'est pas 
en mesure de structurer autour de lui l'information et l'exper- 
tise sur l'action publique. Toutes les conditions sonl done 
réunies ponr que les sciences sociales soient invitées à joir un 
rôle de médiation et d'arbitrage et, plus largement, à dire le sens 
de l'action publique. Comme le note Luc Rouban ex pun 
tion permet de contrebalancer la séparation des peer g 
vient réguler le jeu politique entre les divers acteurs. L ova o 
tion sert de circuit d'information et de négociation pour unte 
grer un marché politique en miettes, organiser les controverses 
et leur donner une cohérence rendue autrement de mp 
la fragmentation des demandes » [Rouban, in REAP, 1993, 
p. 1991. f ; ORE 
Sur un tout autre plan, l'orientation empiriste el ari 
riste » des sciences sociales constitue un facteur favorable o e 
loppement de la recherche évaluative. Aux États-l yis, a 
recherche en sociologie, psychologie, sciences de Keducatini, 
santé publique, etc. accorde une place importante y se 
tion empirique et au recueil de données quantifiables. ei i 
Vactivité théorique est orientée, bien plus qu'en Europe, vers à 
modélisation déterministe des comportements individuels. 
Enfin, au croisement des facteurs politiques et scientifiques, me 
observe une tendance à évaluer les programines publics ati part 1 
vue exclusif des avantages tangibles qu'ils procurent à Tan hinin 
ciaires individuels (au détriment de l'attention ee de we 
processus, aux effets sociaux complexes et aus ee r 
système). Ainsi, l'évaluation des programmes q emp n € i T 
formation est presque exclusivement centrée stut la mesur $ 
bénéfice économique (l'évolution du revenu) taue n es 
travailleurs de leur participation aux programmes [parez =. pi ik 
Or, les techniques de recherche quantitative (parinaan, 
modélisation, coùts-avantages) sont bien adaptées à la mesure 
de ce type d'impact. 


« Pehavion- 


Les « denx vagues » de l'évaluation 


Après la Seconde Guerre mondiale, la pratique de re + 
de programme s'est étendue à l'ensemble du monde angl Le à 
et à l'Europe du Nord. Son développement en Laver : m 
les pays latins est plus tardif. En France, il faut atten i i l 
des années 1980 avec les initiatives du gouvernement | T 
pour que l'évaluation ex post soit identifiée comine une at Hvis 


HE L'ÉVAUISNON DIS POHTIQUES PURDIQUES 


specifique el que l'on prenne la mesure de son rôle potentiel 
dans la modernisation de VÉtat (cf. chapitre 1v). Les ouvrages 
qu retracent l'histoire de l'évaluation distinguent généralement 
deux vagues successives de développement ct d'institurionnali- 
sation de l'évaluation. 

Line « première vague » dans les années 1960 ct 1970, dans 
un contexte marqué par l'extension des interventions sociales 
des rals, sous des gouvernements de tendance majoritaire- 
ment sociale-démoacrale ou « progressiste » (y compris aux 
États-Unis avec la Great Society du président Johnson]. Les tech- 
niques de planilication et de programmation, ainsi que des 
sciences sociales en plein essor (sociologie, psychologie, sciences 
de l'éducation. sont mobilisées pour étendre ct améliorer les 
politiques dans un contexte de relative aisance budgétaire. Les 
protessionnels de l'éducation, de la santé ct du social (cnsci- 
poants, médecins, psychologues, travailleurs sociaux...) jouent 
un rôle moteur dans cette phase du dévelnppement de 
l'évaluation. 

La « seconde vague», à partir des années 1980, coïncide avec 
larri au pouvoir des gouvernements conservateurs dans les 
pays anglo-saxons (Ronald Reagan, Margaret Thatcheri. Elle est 
liée à la révolution libérale-conservatrice ct À la crise fiscale du 
debut des années 1980, L'évaluation est alors enrôlée dans les 
politiques de réduction des dépenses publiques et de réforme 
administrative. Les administrations budgétaires el les orga- 
nismes de contrôle (Cours des comptes) sont les acteurs domi- 
nants de cette nouvelle phase. L'évaluation doit servir à vérifier 
que les dépenses publiques sont vraiment utiles et que ies contri- 
buables ven ont pour leur argent ». L'objectif affiché est de 
remettre en cause certains programmes jugés inefficaces ou trop 
coûteux. Les finalités de l'évaluation sont reformulées autour 


des trois nolions clés d'accountability (« redevabilité »). de vue 


for money et de performance. enr suhe un recentrage de 
l'évaluation sur des indicateurs de performance censés Mesurer 
les résultats obtenus au regard d'objectifs simples e} quanti- 
liables. Ce virage est particulièrement net au Royaume-Uni 
«cf. infra). í 

Depuis la fin des années 1990, on a assisté à un retour du 
balancier. L'utilisation systémalique de l'évaluation comme 
outil de management par les objectifs a été poussée si loin dans 
certains pays (Nouvelle-Zélande, Australie) qu'elle à fini par 
nuire à son caractère scientifique ct à sa lonction d'éclairage de 
l'action à moyen terme (laquelle requiert plus de distance et 


/ 
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d'objectivilé). Selon Sylvie Trosa, on assisterait dans les pays 
anglo-saxons à unc nouvelle inflexion, conduisant à une sépa- 
ration plus nette cntre l'évaluation, le contrôle ct la mesure des 
performances : les indicateurs de performance et les audits d'effi- 
cience ne peuvent se substituer à l'évaluation des politiques el 
des programmes IGNE, 2000]. L'action publique participe en 
effet de processus complexes de transformation sociale, elle ne 
se réduit pas à la production des biens publics et ne peult donc 
être évaluée à la seule aune de son efficacité dans la produc- 
tion de ces biens. I n'en demeure pas moins que l'évaluation est 
plus que jamais requise de participer aux efforts de maitrise des 
dépenses publiques 

Soulignons pour finir que toute chronologie cst simplilica 
trice, notamment parce qu'elle ne peut rendre compte de la 
diversification des pratiques, tant au plan des objets el des Tina- 
lités de l'évaluation que des méthodes mises en œuvre. 


L'avance persistante des pays anglophones 
et d'Europe du Nord 


L'évaluation est pratiquée partout dans le monde, mais son 
développement demeure inégal. On peut le mesurer à deux 
séries de critères : 1) le degré d'institutionnalisation de l'évalua- 
tion et son rôle dans la préparation des arbitrages budgétaires 
et le management public ; 2) l'importance el la structuration 
d'un milieu professionnel et académique spécialisé (nombre de 
revues et d'ouvrages spécialisés, nombre et qualité des présenta- 
tions lors des congrès internationaux d'évaluation, place de 
l'évaluation dans les cursus universitaires, etc.). Selon ces critères 
(surtout le second), l'avance américaine est incontestable. Les 
autres pays moteurs sont presque tous de langue anglaise 
(Canada, Grande-Bretagne, Australie, Nouvelle-Zélande), à 
l'exception des l'a Bas, de la Suisse e! des pays scandinaves 
(Suède, Danemark, Finlande). L'Allemagne et la France sont 
dans une situation intermédiaire. Au sud et à vest de l'Europe, 
le développement de l'évaluation dans les années 1990-2000 a 
largement bénéficié de l'impulsion donnée par VUnion curo- 
péenne à travers la procédure d'évaluation des prograninics 
d'aide aux régions défavorisées (cf. infra). En italie [Stamme, in 
ESE, 1998], le dynamisme de l'Associazione Malana di Valuta- 
zione donne limage d'un milicu protessionnel actif et bien 
implanté dans le monde académique. Dans les pays du Sud, 
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l'évaluation des projets de développement menée depuis des 
décennies à l'initiative des pays et organismes donateurs 
(Banque mondiale notamment) est le vecteur d'une large diffu- 
sion de la culture de l'évaluation. 


Le rôle budgétaire et managérial de l'évaluation 


Dans les pays les plus avancés, ce rôle est sans cesse réaffirmé. 
Les administrations chargées de la préparation du budget sont 
des acteurs importants de l'évaluation (OMB aux États-Unis, 
Trésor au Royaume-Uni) et les résultats d'évaluations sont expli- 
citement mentionnés dans les documents budgétaires pour 
justifier certaines inflexions ou mesures nouvelles. Ansi, aux 
itats-Unis, le rapport sur le Budget fédéral rend compte des 
évaluations réalisées par l'OMB, en indiquant pour chacune 
d'entre elles comment l'évaluation a abouti à des décisions de 
continuer, développer ou réduire le financement de ce 
programme ou à des propositions d'amélioration de se mise en 
œuvre, Aux Pays-Bas, l'évaluation budgétaire s'inscrit dans le 
cadre d'une procédure de réexamen systématique des dépenses 
(cf. encadré), Concurremiment aux évaluations portées par 
l'exécutif, les institutions supérieures de contrôle chargées de 
ifier la régularité des comptes publics ct le bon usage des 
crédits budgétaires (Government Accountability Office, 
National Audit Office) jouent un rôle actif, soit en réalisant elles- 
mêmes certaines études, soit en vérifiant l'existence de procé- 
dures d'analyse de gestion et d'évaluation dans les 
administrations : c'est notamment le cas pour les Cours des 
comptes des Pays-Bas, du Royaume-Uni et de Suède. Pour être 
en mesure d'assurer ce type de mission, plus large que le 
contrôle traditionnel, ces organismes sont amenés à élargir leur 
recrutement aux diverses compétences utiles à l'évaluation 
(économistes, sociologues, auditeurs, statisticiens). Parallèle- 
ment à son rôle dans la décision budgétaire, l'évaluation est au 
cœur des politiques de réforme administrative, conune on le 
verra infra dans l'exemple britannique. 


Un milieu professionnel structuré 


Aux États-Unis et au Canada, les associations profession- 
nelles d'évaluateurs sont influentes (en 2014, la Société cana- 
dienne d'évaluation compte 1 800 membres), elles publient des 
revues, tiennent des congrès scientifiques importants, cle. Au 
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La procédure de réexamen 
(revue des dépenses) 
aux Pays Bas 


La procédure de réexamen est le prin- 
cipal instrument d'évaluation-bilan 
des paliliques publiques aux 
Pays-Bas. Elle a été créée en 1981 
pour réexaminer les politiques dans le 
but de susciter des solutions alterna- 
tives plus efficientes ou pour mettre 
fin à ces actions. Les thèmes de 
réexamen sont décidés par le gouver- 
nement. Les départements ministé- 
riels concernés doivent préparer des 
scénarios d'économie, dont l'un au 
moins permettrait une réduction de 
20 % du coût total de la politique. 
Ils peuvent faire appel à des experts 
extérieurs pour étudier des poli- 
tiques alternatives. Les rapports sont 
rendus publics et soumis au Parle- 
ment. Les propositions d'économie 
sont examinées normalement dans le 
cadre de la procédure budgétaire, La 
procédure est animée par une petite 
commission ministérielle dirigée par 


le Premier ministre, le vice-Premier 
ministre et le ministre des Finances. 
Le ministère des Finances fournit un 
appui technique et administratif, 

Dans les années 1990, là prue- 
dure a évolué pour s'adapter à la 
siluation économique. L'obligation 
de proposer 20 % d'économie a eté 
abandonnée. Les revues de politique 
se sont facalisées sur les change- 
ments institutionnels (décentralisa- 
tion, privatisation, financement par la 
demande) davantagr que sur les 
économies immédiates, Fn 2007, 
trente-cinq évaluations ont élé plani- 
fiées dans des domaines qui vont de 
l'intégration sociale à la promotion 
des exportations, le budget des 
programmes concernés s'élevant à 
12 milliards d'euros [OCDE, 2007]. 
Suite à la crise financière de 2008, la 
procédure, rebaptisee «revue des 
dépenses », a été réorientée vers 
sa finalité initiale de recherche 
d'économies à court terme (retour à 
l'obligation de proposer un scénario 
de 20 % d'économies) [Inspectorate 
of the Budyet, 20101. 


cours des années 1990, des associations analogues ont été créées 
en Europe (y compris une Société européenne de l'évaluation) 
mais elles n’ont pas conquis le même rayonnement. La vitalité 
intellectuelle du milieu se reflète dans le nombre et la qualité des 
publications spécialisées. Des dizaines d'essais, ouvrages théo- 
riques et manuels sont publiés chaque année en langue ang 
(à comparer à la faiblesse de la production française, cf. biblio- 
graphie). En Amérique du Nord, mais également aux Pays-Bas 
et en Grande-Bretagne, l'évaluation est une discipline acadé- 
mique reconnue el enseignée dans les meilleures universités, ce 
qui n'empêche pas le marché de l'évaluation d'être dominé par 
les entreprises commerciales. 
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L'évaluation au Royaume-Uni 


Évaluation, new public management el value for money 


Au cours des années 1980, le développement de l'évaluation 
britannique a été fortement marqué par la nouvelle gestion 
publique (new public management, NPM). Les lignes de force du 
NPM sont les suivantes : privatisations, développement des 
« mécanismes de marché », renforcement des instances de régu- 
Jation chargées de veiller au bon fonctionnement des marchés, 
dévolution de fonctions administratives à des agences non 
gouvernementales ou semi-publiques. I se traduit par l'accrois- 
sement de la responsabilité des acteurs publics périphériques, 
une exigence accrue de « compte rendu » (accountability) aux 
autorités centrales et aux clients des services publics, le raccour- 
cissement des lignes hiérarchiques, le développement systéma- 
tique de rapports prestataires/clients au sein du secteur public, 
J'attention portée aux intérêts des consommateurs et à la qualité 
des services. 

Dans le cadre de la nouvelle gestion publique, l'évaluation a 
bénéficié d'un fort soutien politique. Elle a été mobiliséc au 
service des objectifs de la réforme administrative, au risque 
d'être réduite à une technique de management par les objectifs : 
« Les réformes de la gestion publique ont fait porter une atten- 
tion plus soutenue à la fixation des objectifs, l'amélioration du 
suivi des performances et l'évaluation régulière. L'un des motifs 
de ces changements est le resserrement des budgets et le besoin 
subséquent d'afficher des résultats. La pression continue en 
faveur des réformes de la gestion publique a certainement aidé 
à promouvoir l'évaluation. De fait, depuis les années 1980, on 
peut observer qu'un plus grand nombre d'évaluations revêtent 
un caractère managérial (centré sur la réduction des coûts et 
l'amélioration de la gestion) » [Pollitt, in CSE, 1998, p. 32]. Au 
niveau gouvernemental, le Trésor (homologue britannique de 
la direction du Budget) s'efforce d'imposer aux administrations 
un cadre d'évaluation fondé sur l'analyse coût-bénéfices et la 
modélisation macroéconomique (cf. le Green Book [HM Trea- 
sury, 2014]). Parallèlement, le National Audit Office, institu- 
tion supérieure de contrôle de la dépense publique (rôle qu'il 
partage avec l’Audit Commission, en charge du contrôle des 
dépenses des collectivités territoriales), a été promu comme un 
acteur important de l'évaluation publique, même s'il s'est 
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finalement cantonné à des formes d'évaluation proches de 
l'audit (cf. encadré). 

Le projet de répartir plus rationnellement les ressources 
publiques et contrôler leur usage grâce à l'évaluation a été mis 
en pratique à grande échelle. L'évaluation a souvent pour client 
direct le financeur d'une action, à l'exemple du Learning Skills 
Council chargé de répartir les fonds de l’État et de contrôler 
Ja qualité de l'enseignement dans les établissements d'enseigne- 
ment secondaire. Dans un tel dispositif, il est difficile d'éviter 
une confusion entre le contrôle et l'évaluation. L'enrôlement 
managérial de l'évaluation a suscité des réserves de la part des 
évaluateurs britanniques. Sont notamment dénoncés l'usage 
intempestif des indicateurs de résultat comme critères d'alloca- 
tion des ressources (par exemple le fait de lier le salaire des 
professeurs aux résultats de leurs élèves, cf. Fitz-Gibboïi, cité par 
Weiss [1993]) et la dérive technocratique qui conduit à:fixer aux 
services publics des objectifs inadéquats, peu crédibles ou sans 
rapport direct avec la qualité de leur travail (The Economist, 
28 avril 2001). 

Avec l’arrivée au pouvoir du New Labour en 1997, ie volonta- 
risme initial de la réforme semble s'être estompé et certaines 
inflexions sont apparues. Il convient notamment de mentionner 
la création d’une unité de recherche sociale (Government Social 
Research Unit) au Cabinet Office (bureau de coordination direc- 
tement rattaché au Premier ministre). Ce service « travaille à 
promouvoir des standards de qualité élevés pour l'évaluation et 
la recherche gouvernementale ». I] s'efforce notamment de 
développer une procédure d'« examen par les pairs » (peer review) 
entre les services d'évaluation des ministères. Par ailleurs, on 
peut observer que le New Labour était plus intéressé que le 
gouvernement conservateur par des usages nou strictement 
budgétaires de l'évaluation, tels que la préparation de nouvelles 
politiques (policy development) et l'amélioration « foimative » 
(cf. chapitre v) de politiques existantes (d'après Elliot Stern). Ces 
orientations se sont notamment concrétisées dans le Magenta 
Book, guide méthodologique publié par le Trésor, développant 
une approche plus large de l'évaluation, en complément du 
Green Book [HM Treasury, 2014], sans rompre toutefois avec les 
fondamentaux du NPM. Par-delà les alternances politiques, le 
système britannique reste marqué par l'impulsion modernisa- 
trice du Trésor et du Cabinet Office — concrélisée par des revues 
systématiques de l'action des ministères sectoriels, l'accent mis 
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Les différents types d'examens 
value for money réalisés 
par le NAO 


« Ce que fait le National Audit Office 
sous le label value for money peut être 
rangé dans la classilication suivante. 

Les audits de performance, Ils 
examinent si une organisation ou un 
aspect d'une organisation fonc- 
tionne ou non de manière efficiente. 
Les études de cette catégorie s'elfor- 
cent de fournir au Parlement la 
garantie que l'organisation travaille 
de manière appropriée. De telles 
études évaluent dans quelle mesure 
une organisation respecte ses propres 
règles ou se conforme à un modèle 
de banne gestion. Ils peuvent faire 
des recommandations en vue de 
l'amélioration des procédures. Par 
exemple, une récente étude sur les 
opérations de rénovation de la 
Corporation de développement 
urbain de Leeds ét Bristol a examiné 
comment ces structures géraient la 
rénovation el fait des recommanda- 
tions pour aider de futures struc- 
tures du même type à mener à bien 


une rénovation dans de meilleures 
conditions. 

Les examens spéciaux. Ce sont des 
études plus courtes deslinées à 
analyser un dysfonclionnement parli- 
culier dans un syslème, Parfois, une 
telle étude permet d'identifier un 
problème qui pourrait survenir dans 
d’autres circonstances. Par exemple, 
une étude sur la construction de la 
New British Library a mis en évidence 
des dépassements massifs de coûts et 
de délais causés par un contrôle de 
gestion insuffisant. 

Les évaluations de programme. Ces 
opérations cherchent à apprécier dans 
quelle mesure une organisalion où un 
programme atteint ses objectifs. 
Parfois, de telles études prennent en 
compte la question du rapport coûts- 
efficacité et, quand les objectifs sont 
mal définis, elles aident à les clarifier. 
Par exemple, l'évaluation du pro- 
gramme d'entretien des ponts de 
l'agence des autoroutes a cherché à 
savoir si un programme national de 
maintenance des ponts améliorail 
létat des ponts, et si le programme 
étail géré de manière efficiente » 
[Goldsworthy, in CSE, 1998, p. 34]. 


sur la value for money, le calcul économique et l'evidence based 
policy-making. L'opinion dominante des hommes politiques 
britanniques est que la nouvelle gestion publique devrait 
conduire à une meilleure efficacité de la dépense publique, à une 
affirmation plus claire de la responsabilité des administrations 
vis-à-vis des usagers et des contribuables et, au bout du compte, 
à des services publics de meilleure qualité. Cependant, comme 
le note Pollitt [1995], il ne s'agit là que d'une croyance et l'on 
manque de preuve pour affirmer que la qualité du service public 
s'est améliorée depuis la révolution conservatrice (il est banal de 
constater que les services publics sont de meilleure qualité en 
France qu'en Grande-Bretagne). Il n'en demeure pas moins que 
l'observateur français est toujours impressionné par la capacité 
des responsables de l'administration britannique à formuler une 
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doctrine claire en matière de gestion publique et par leur souci 
d'accountability. 


L'importance des réseaux sectoriels 


I serait cependant erroné de réduire l'évaluation britannique à 
une technique de management public. La plupart des évalua- 
tions sont initiées par les administrations sectorielles (santé, 


„sécurité, éducation...) en fonction d'objectifs et selon des 


méthodologies qui leur sont propres, et nombre d'autres évalua- 
tions sont réalisées de manière partiellement ou totalement 
indépendante de l'État central. La diversité des clients et des 
financeurs de l'évaluation (administrations centrales et locules, 
fondations privées) confère à celle-ci un caractère polycen- 
trique. De nombreuses autorités locales possèdent leurs propres 
unités d'analyse des politiques et d'évaluation. Par ailleurs, les 
réseaux d'expertise sectoriels regroupant des universitaires, des 
professionnels (médecins, éducateurs...) et des membres de 
l'administration ont joué et jouent encore un rôle important 
dans l'institutionnalisation de l'évaluation : « Certaines proles- 
sions, spécialement les médecins et les enseignants, ont une 
longue tradition d'évaluation de leurs propres pratiques, et les 
institutions professionnelles concernées continuent d'encou- 
rager ce genre de travail, parfois en concertation avec les dépar- 
tements ministériels, parfois de leur propre initiative » [Pollitt, in 
CSE, 1998]. 

Cette diversité se reflète dans les méthodes, qui combinent 
expertise interne et recours à l'expertise externe, techniques 
quantitatives et qualitatives. Si les firmes de conseil en manage- 
ment jouent un rôle important dans les évaluations comman- 
dilées par le gouvernement, le monde académique est resté très 
actif — comme en témoignent les recherches et débats dont se 
fait l'écho l'influente revue internationale Evaluation, publiée à 
Londres. Les évaluations avec protocole expérimental (avec 
groupe de contrôle équivalent) ou quasi expérimental 
(cf. chapitre 11) sont moins répandues qu'aux États-Unis mais 
davantage qu'en France, notamment dans les champs de la 
santé, des programmes d'aide à la création d'emploi ou de la 
prévention du crime. À l'autre extrémité du spectre, dans les 
champs de l'éducation, de la formation permanente et de la 
garde des enfants, des groupes locaux et des institutions prati- 
quent des formes d'autoévaluation participatives, centrées sur 


a  — 


inn dan le sccleur 
aie au Royaume-Uni 


«tn Angleterre, tous les ministères 
dépensiers ont d'importants pro- 
grammes d'évaluation en cours de 
réalisation, el c'est aussi le cas pour 
le département de la Santé. Le 
programme d'évaluation du départe- 
ment de la santé couvre l'ensemble 
du domaine de compétence du 
secrétariat d'État à b santé [exercer 
la tels du National Health Service, 


L'ÉVARUATION DES POLITIQUES PUBLIQUES 


organise les soins pour les enfants en 
difficulté ou à risque) ; 

_ Je Community Core Act (qui 
définit le cadre législatif du soutien 
social aux personnes âgées fragiles el 
aux personnes dépendantes); 

— le Mental Health Act (qui orga- 
nise les services de soin médical et de 
soutien pour les malades mentaux) ; 

— la nouvelle stratégie d'organi- 
sation des services de cancérologie ; 

— toutes les initiatives prises 
pour renforcer les soins primaires en 
Angleterre ; 


protéger et promouvoir globalement 
las 


— les stratégies de gestion des 
até de la population, définir la ressources humaines au sein du NHS 
stratégie et les politiques en matière et des services sociaux ; 
de services sociaux (social cure — la stratégie dite « Santé de la 
services)]. En 1998, les évaluations en nation », dans le champ de la santé 
cours étaient les suivantes : publique » [Griflin, in CSE, 1998]. 

— des projets de recherche 
evaluative relatifs au Children Act (qui 


j'amélioration des processus ou le développement des personnes 
ou des équipes [Poltitt, in CSE, 1998). 

Une enquète réalisée en 2005 auprès d'une centaine de 
membres de la Société britannique d'évaluation (UKES) indi- 
quait qu'une grande majorité d'entre eux avait une expérience 
dans les méthodes qualitatives (82 %) ct un pourcentage équi- 
valent (78 %) dans les méthodes quantitatives. Pour limitée 
qu'elle soit, cette observation confirme le double visage de 
l'évaluation britannique : une intégration poussée de l'évalua- 
tion et du management budgétaires par les résullats (dans la 
perspective value for money} et, en contrepoint, un pluralisme 
marqué des démarches et usages de l'évaluation, notamment 
dans le domaine des politiques sociales. 


L'évaluation dans les organisations internationales 


Le rôle moteur de la Commission européenne 


L'évaluation a connu un développement précoce à la 
Commission européenne. Dès 1960, les progiammes de 
recherche font Fobjet d'ane évaluation systématique. En 1983, 
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unce unité spécialisée d'évaluation est créée à la direction chargée 
de la Recherche. Mais ce sont les politiques de développement 
régional qui ont fait de la Commission l'acteur clé de l'évalua- 
ton européenne. Depuis le traité de Rome, l'aide aux regions 
souflrant d'un retard de développement est répartie tt gérée au 
nivean européen. En 1988, le règlement communautaire relatif 
aux programmes financés par le FEDER, le FROGA et le FSF 
(fonds spécialisés respectivement dans l'aide aux zones de recon- 
version industrielle, aux zones de reconversion agricole ct aux 
chômeurs en difficulté) donne le coup d'envoi de l'évaluation 
en stipulant que l'action communautaire devra faire l'objet 
d'une «évaluation ex ante et ex posl destinée à apprécier son 
impact ». I faudra cependant attendre les programmes 
1994-1999 pour que cette disposition entre réellement dans les 
faits après l'adoption d'une nouvelle directive en 1993 qui 
renforce ct précise l'injonction d'évaluer et complète les évalua- 
tions ex ante et ex post par une évalualion concomitante 
(cf. encadré) — qui prendra successivement la forme d'une 
évaluation intermédiaire, ou à mi-parcours, et en continu, où 
in itinere. Les principales dispositions de cette directive ont été 
confirmées par les règlements du 11 juillet 2006 el du 
17 décembre 2013. 

Avec plusieurs centaines de rapports d'évaluation au titre de 
chaque période de programmation, 1994-1909, 2000-2006 et 
2007-2012, les fonds structurels représentent Vún des plus 
importants marchés pour les firmes de conseil et d'évaluation au 
niveau mondial. Les travaux lancés en réponse à cette obligation 
réglementaire ont d'abord semblé relever davantage d’une forme 
déguisée de contrôle que de l'évaluation au sens plein du terme. 
Plusieurs éléments ont pu renforcer ce sentiment : le forma- 
lisme technocratique des directives européennes, le fait que les 
programmes évalués sont définis par les grands objectifs de la 
politique structurelle (objectifs 1, 2 ct 3) dont le caractère très 
général semble peu propice à l'évaluation, le caractère obliga- 
Loire et systématique de l'exercice (l'évaluation de chaque 
programme porte sur la globalité du programme sans négliger 
aucun critère), l'importance accordée à la justification écono- 
mique des dépenses et aux indicateurs de résultats. Celte percep- 
tion s'est cependant modifiée au fil des ans,'les régions 
européennes s'étant emparé de l'outil pour le mettre au service 
de leurs propres objectifs d'amélioration des politiques. 
L'évaluation est pilotée par des comilés de suivi qui regroupent 
les principaux acteurs publics et privés concernés (y compris les 


L'évaluation dans l'Union 
européenne. Articles 26.1 

et 26.2 de la regulation 

de coordination (juillet 1993) 


«1. Les évaluations o priori (appraisal) 
et a posteriori sont de la responsabilité 
conjointe des Étals membres et de la 
Commission et doivent être menées 
dans le cadre d'un partenariat. Les 
autorités compétentes des États 
membres doivent faire en sorte que ces 
travaux soient conduits de la manière 
la plus elficace. Dans cette optique, 
les évaluations a priori et ex post 
doivent utiliser toules les informations 
produites par les dispositifs de mise en 
œuvre afin d'apprécier l'impact socio- 
économique des opérations, leur 
adéquation ayant été vérifiée en asso- 
ciation étroite avec les comités de pilo- 
tage des programmes. 

Une aide sera attribuée lorsque 
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moyen terme à la mesure des 
ressources déployées. 

2. Afin de s'assurer de l'efficacité 
des aides de la Communaulé, les 
mesures prises dans un bul struc- 
turel feront l’objet d'une évaluation 
a priori, d'une évalualion concomi- 
tante (monitoring) el, après leur mise 
en œuvre, d'une évaluation a poste- 
riori. L'elficacilé devra êlre appréciée 
à trois niveaux : 

-~ leur impact global sur les 
objectifs mentionnés dans l'article 130a 
du traité, el en particulier le renforce- 
ment de la cohésion économique et 
sociale de la Communauté ; 

— l'impact des mesures proposées 
dans les plans et mises en œuvre dans 
chaque cadre d'appui communautaire ; 

— l'impact des mesures indivi- 
duelles (programmes, etc.). 

Les évaluations a priori et a poste- 
tiori doivent prendre en comple les 
bénéfices socio-éconamiques attendus 


l'évaluation a priori tera apparaître des et obtenus au regard des ressources 
bénéfices économiques el sociaux de déployées. » 


services de la Commission). L'expérience acquise par ces comités 
au fil des ans, non seulement dans l'évaluation mais égale- 
ment dans son utilisation pour améliorer la conception et la 
gestion des programmes, confère à cette procédure un carac- 
tère exemplaire. L'inscription des programmes dans un cycle 
temporel continu rythmé par des évaluations ex ante, concomi- 
tantes et ex post favorise un apprentissage qui se traduit notam- 
ment par une meilleure capacité à formuler et à quantifier leurs 
objectifs. Grâce aux actions de soutien et d'animation méthodo- 
logique de la direction générale de la Politique régionale, la 
procédure d'évaluation des programmes des fonds structurels 
donne lieu à la réalisation d'évaluations d'une qualité croissante 
qui exercent un réel effet d'entraînement sur le développement 
de l'évaluation dans les pays membres. 
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La Banque mondiale et l'évaluation de l'aide au développement 


Les politiques d'aide au développement sont Fun des 
domaines où l'évaluation s'est imposée depuis longtemps 
comme un outil de pilotage et de compte rendu. En France, des 
missions d'évaluation de l'aide au développement ont élé créces 
dès le début des années 1980 au sein du ministère de ta Coopé- 
ration, de la direction du Trésor et de la Caisse centrale de 
coopération économique, devenue l'Agence française de déve- 
loppement (AFD) en 1998. Au fil des ans, ce secteur est resté 
Yun des plus actifs en matière d'évaluation (26 projets évalués à 
V'AFD en 2013). 

Au plan international, la Banque mondiale a joué un rôle 
décisif : mise en place en 1970 par Robert MeNamara, la fonc- 
tion d'évaluation est devenue indépendante de la direction de 
la Banque en 1975 à la demande des actionnaires. L'Indepen- 
dent Evaluation Group (IEG), anciennement Operations Evalua- 
tion Department (OED), est une unité autonome qui rend 
compte directement au comité exécutif de la Banque. L'évalua- 
tion à la Banque mondiale a pris une ampleur considérable au 
fil des ans, sous des formes diversifiées : évaluation de projets 
(plusieurs centaines chaque année), réalisation d'études trans- 
versales telles que l'évaluation de l'impact de l'action de là 
Banque mondiale sur l'égalité entre les sexes gender inpacD, 
évaluation systématique des programmes-pays, examens de poli- 
tiques au niveau mondial ou régional (par exemple ta stratégie 
de la Banque en matière de gestion des forêts). Le poids de la 
Banque (plusieurs milliers de programmes financés chaque 
année dans le monde, des dizaines de milliards de dollars 
d'engagement) lui confère un rôle moteur pour l'ensemble des 
activités d'évaluation de l'aide au développement. L'évolution 
des pratiques d'évaluation à la Banque mondiale témoigne d'un 
effort pour trouver un équilibre entre les approches écono- 
miques et financières, ct, d'autre part, la prise en compte des 
dimensions sociale, environnementale et institutionnelle 
(gouvernance) du développement. Une attention croissante est 
portée à la gouvernance de l'évaluation elle-même — associa- 
tion des partenaires et prise en compte des intérêts des différents 
groupes participants ou affectés par le programme (ef. encadré). 
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La dimension partenariale 
de l'évaluation de la Banque 
mondiale 


« Les GRPPS (Global and Regional Part- 
nership Programs) sont des partena- 
riats programmatiques impliquant de 
multiples donneurs, parlenaires et 
autres parties prenantes, dont les 
intéréls ne coïncident pas toujours. 
La gouvernance est conjointe pour ce 
qui concerne la prise de décision et la 
redevabilité. d 

Conséquences pour l'évaluation : 

— Identifier les différentes caté- 
gories de parties prenantes très en 
amont dans la conception de l'évalua- 
tion d'un GRPP et prendre en compte 
leurs divers intérêts sont très impor- 
lanls pour déterminer le degré appro- 
prié de participation et de consultation 
durant le processus d'évaluation, 

— I esl nécessaire d'évaluer Ja 
continuité de la pertinence du point de 
vue des principales parties prenantes 
au regard des deux dimensions d'offre 
et de demande du programme, y 


compris par la confirmation que les 
objectifs du programme restent 
cohérents avec son environnement 
politique el avec les conventions inler- 


nationales applicables, 

— Évaluer la légitimité et l'effica- 
cité de la gouvernance el des arrange- 
ments managériaux est essentiel. La 
communication et le flux d'informa- 
tion à l'intention des différentes parties 
prenantes sont des facteurs importants 
de légitimité et d'efficacité. 

— Les standards financers des 


différents donateurs el administra- , 


teurs doivent être pris en comple 
dans l'élaboration des termes c'e rélé- 
rence d'une évaluation el dans 
l'évaluation de la gouvernance et du 
management. L'évaluation du mana- 
gement doil inclure des éléments 
d'évaluation du management finan- 
cier, du reporting el de la conformité 
aux exigences des donateurs, car cela 
peul avoir un effet significatif sur la 
mobilisation des ressources. » 


Source : tG (7007, p. XVII. 


Mondialisation, coopération et évaluation 


Les organisations nationales ou internationales impliquées 
dans la coopération multilatérale ont toutes d'importants 
services d'évaluation. En 1996, les responsables de la fonction 
évaluation dans une dizaine de banques de développement 
multilatérales (MDB) (Banque mondiale, FMI, BERD et autres 
banques régionales de développement) ont créé un Evaluation 
Cooperation Group (ECG). De manière significative, l'un des 
premiers résultats de cette coopération a été de poser sans ambi- 
guité Je principe de l'indépendance de la fonction évaluative au 
sein des MDB : « Les responsables des unités d'évaluation des 
MDB [| doivent étre autorisés à remettre les rapports finaux 
des évaluations au président ct aux directeurs exécutifs de la 
MDR sans validation préalable par une personne extérieure à 
l'unité » [ECG, 1996]. Cette exigence d'indépendance reflete le 
caractère stratégique de la fonction évaluative dans les agences 
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et banques internationales de développement, qui s'explique 
notamment par les obligations de compte rendu à de multiples 
acteurs et partenaires auxquels elles sont elles-mêmes soumises. 
Gette situation illustre un fait plus général : le lien entre le déve. 
loppement de l'évaluation et l'émergence de nouvelles Tennis 
de gouvernance, en partie liées à la mondialisation de l'action 
publique. On y revient au chapitre v. 


IV / Le cas français 


Ex France plus qu'ailleurs, le développement des pratiques est 
indissociable de la « politique de l'évaluation ». Celle-ci s'est 
traduite depuis les années 1970 par une succession d'initiatives 
institutionnelles aux fortunes diverses, soumises aux aléas des 
politiques de modernisation de l'État, dans un contexte marqué 
par le poids croissant des impératifs budgétaires. Au fil des ans, 
l'idée selon laquelle l'État doit rendre des comptes gagne du 
terrain, et l'évaluation des politiques publiques en bénéficie 
concurremment à d'autres pratiques (audits, indicateurs de 
performance...) Toutefois, par comparaison avec d'autres poys, 
le rôle de l'évaluation reste faible dans l'éclairage des décisions 
politiques et l'allocation des ressources publiques. 


La difficile institutionnalisation de l'évaluation 
au sein de l'État 


La rationalisation des choix budgétaires (1970-1984) 


La rationalisation des choix budgétaires (RCB) visait à déve- 
lopper la planification budgétaire (les budgets de programme) 
et l'évaluation ex ante, plus que l'évaluation ex post. 1l s'agissait 
avant tout de restructurer le budget sous forme d'un ensemble 
de programmes d'action (en complément de l'approche tradi- 
tionnelle par nature de dépense) et de fonder les décisions de 
dépense sur une prévision de leur impact socio-économique. La 
RCB a suscité au sein de l'administration un développement 
important des études et recherches sur tous les domaines de 
Faction publique (social, santé, transports, environnement, 
aides aux entreprises, etc.). Environ cinq cents études onl été 
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mises en chantier au cours de la période considérée, dont 
quarante études lourdes à caractère interministériel. La RCB a 
été officiellement abandonnée en 1984 en tant que procédure 
formalisée. La principale cause de cel échec tient dans un 
constat sans appel : après des débuts prometteurs — l'une des 
plus belles réussites cst l'étude sur la périnatalité dont les conclu- 
sions suivies d'effet ont sans doute contribué à la diminution de 
la mortalité infantile dans les années 1970 —, Ja RCR a perdu 
toute influence sur la décision budgétaire. Parmi les causes de ce 
relatif échec, on peut mentionner les soubresauts de la politique 
budgétaire, particulièrement marqués au début des années 1980, 
laissant peu de place à une programmation de la dépense. Les 
cellules REB mises en place dans les ministères techniques n'en 
eut pas moins continué à fonctionner et à produire des études 
ulont un certain nombre d'évaluations ex posi) à la demande 
des administrations [Champsaur, in CGP, 1990]. Comme le 
remarque Jacques Toulemonde, les conditions dans lesquelles la 
France a tourné le dos à la RCB (par pure ct simpie suppres- 
sion de la procédure en 1984) à eu des conséquence: négatives 
pour le développement ultérieur de l'évaluation : « On a jeté le 
bébé avec l'eau du bain, au point que l'évaluation à perdu toul 
Soutien signilicatif à l'échelon gouvernemental pendrnt près de 
dix ans » IENE, 2000, p. 941. 


Les initiatives du gouvernement Rocard et leurs suites 


À partir du milieu des années 1980, la réflexion administra- 
tive s'oriente vers l'évaluation ex post. Plusieurs études sur ce 
thème sont menées au cours des années 1980, principalement 
au Commissariat général du Plan (CGP, rebaptisé en 2006 
Conseil d'analyse stratégique-CAS). Pour cette institution affai- 
blie parle déclin de la planification à la française après Je 
VII Plan (1975-1980), l'évaluation constitue une façon de 
rebondir ct l'un des moyens de conserver un rôle dans le travail 
interministériel. Le rapport du groupe Deleau en 1986 [Deleau, 
1986], essentiellement méthodologique, contribue à faire 
connaître en France les démarches empiriques de l'évaluation 
ex-post d'usage courant aux États-Unis (l'expérimentation avec 
groupe témoin), mais il faut attendre la lin des années 1980 ct 
l'arrivée de Michel Rocard au poste de Premier ministre pour 
voir l'évaluation pleinement reconnue. ` 

La promotion de l'idée d'évaluation s'inscrit alors dans une 
politique ambitieuse de réforme administrative dite de 
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« Renouveau du service publie ». Deux aspects de l'évaluation 
sont particulièrement valorisés dans le discours gouverne- 
mental : sa contribution au développement de la responsabi- 
lité des agents publics ct son rôle possible dans Panimation du 
débat public. Suite au rapport Viveret [1989], véritable manifeste 
de l'évaluation démocratique, le gouvernement Rocard prend 
deux initiatives importantes. 1] met en place en 1989 une 
commission indépendante chargée d'évaluer la loi sur Je revenu 
minimum d'insertion. Pour la première fois en Frauce, une loi 
est votée pour une durée déterminée (trois ans) ct son renouvel- 
lement est conditionné aux résultats d'une véritable évalua- 
tion. De fait, le rapport d'évaluation sera largement pris en 
compte lors du débat parlementaire précédant le vote de la 
secoude loi en 1992. seconde initiative, il instaure un dispo- 
sitif institutionnel ambitieux pour évaluer les politiques au 
niveau gouvernemental. Le décret du 22 janvier 1990 crée le 
Comité interministériel de l'évaluation (CIME), le Couscil scien- 
tifique de l'évaluation (CSE) et le Fonds national de développe- 
ment de l'évaluation (ENDE). Le Commissariat général du Plan 
est chargé de l'animation administrative du dispositif. 

L'objectif poursuivi est à la fois de faire de l'évaluation un 
élément central de la prise de décision gouvernementale et du 
débat démocratique (d'où l'obligation de publier les rapports 
d'évaluation) el de faire progresser les méthodes et lå déonto- 
logie de l'évaluation, grâce à l'exemplarité des évaluations 
menées dans le cadre de cette procédure. Les évaluations 
décidées par le CIME, conduites par des instances d'évalua- 
tions (cf: chapitre 1) dont les membres et le président sont choisis 
par les ministères concernés et le Commissariat général du Plan, 
sont placées sous le contrôle méthodologique du Conseil scien- 
tifique de l'évaluation, instance indépendante composée 
d'experts en évaluation et en sciences sociales. Les études ne 
peuvent être lancées qu'après avis favorable du CSE sur le projet 
d'évaluation et le rapport d'évaluation fait l'objet d'un second 
avis portant sur sa qualité et la fiabilité de ses conclusions. De 
1990 à 1998, une quinzaine d'évaluations de grande ampleur 
sont menées à bien, mais leurs suites décisionnelles directes sont 
faibles (étant observé, comme on le verra plus en détail au 
chapitre v, que Jes retombées de l'évaluation sont souvent indi- 
rectes et difficiles à évaluer). Leur durée excessive — liée pour 
partie à la lourdeur de la procédure — ct le désintérêt des poli- 
tiques provoquent l'enlisement administratif de la procédure 
(cf. encadré). 
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À parlir de 1980, ont été créés plusieurs agences et comités 
d'évaluation à compétence sectorielle, dont le nomire et les 
compétences se sont accrus au fil du temps : Comité national 
d'évaluation des établissements publics à caractère scientilique, 
culturel et professionnel (CNE, 1982), Comité national d'évalua- 
tion de la recherche (CNER, 1989) — la fusion de ces deux orga- 
nismes et de la Mission scientifique, technique et pédagogique 
{MSTP) donne naissance en 2006 à l'Agence d'évaluation de la 
recherche et de l’enseignement supérieur (AERES) —, Agence 
nationale pour le développement de l'évaluation médicale 
(ANDEM, 1990) — qui deviendra ultérieurement l'ANAES 
{Agence nationale d'accréditation et d'évaluation en santé), puis 
la HAS (Haute Autorité de santé) en 2004 —, Haut Conseil de 
l'évaluation de l'école (2000) — chargé de superviser et de 
commenter les évaluations relatives au fonctionnement du 
système scolaire, remplacé en 2005 par le Haut Conseil de 
l'éducation: —, Conseil national de l'évaluation sociale et 
médico-social (2005), Haut Conseil de la santé publique (2007). 
Assurant diverses fonctions de conseil, d'expertise, d'audit, de 
certification et d'évaluation, ces organismes se situent à la lisière 
du champ de l'évaluation des politiques publiques. 

Concurremment à ce processus d'externalisation de l'évalua- 
tion, celle-ci se développe sous des formes diversifiées au sein 
des administrations d'État. D'inégale ampleur selon les 
ministères, celte dynamique se traduit par la création d'unités 
spécialisées, directions, services ou missions, ou, le plus souvent, 
par le développement d'activités d'évaluation au sein des 
services d'études (travail, affaires sociales, éducation...). Les 
corps d'inspection ministériels développent de leur côté une 
activité d'évaluation plus ou moius nettement séparée de leurs 
missions de contrôle (agriculture, écologie, affaires sociales...)- 
Dans quelques cas sont créés des comités ministériels d'évalua- 
tion auxquels sont conviées des personnes extérieures à l'admi- 
nistration (experts ou parties prenantes). L'évaluation se 
développe également dans les services déconcentrés de l'État et 
dans les établissements publics. 

Parallèlement à ces développements sectoriels, 9n a vu se 
succéder plusieurs tentatives pour instituer l'évaluation des poli- 
tiques nationales, mais elles n’ont pas débouché jusqu'ici sur un 
dispositif stabilisé intégré à la gouvernance de l'État, À la suite 
du relatif échec de la procédure du décret de 1990, un nouveau 
décret est pris le 18 novembre 1998. Le Conseil interministériel 
et le Conseil scientifique sont supprimés et remplacés par un 


Le bilan des dispositifs 
interministériels CSE 
(1920-1998) et CNE 
(1998-2002) 


Le décret du 22 janvier 1990 avait pour 
objectif d'inscrire l'évaluation dans le 
processus gouvernemental et de faire 
progresser ses méthodes sous l'impul- 
sion du Conseil scientifique de l'évalua- 
tion (CSE). Au plan décisionnel, le bilan 
est négatif. Le Comité interministériel de 
l'évaluation (CIM) ne s'est réuni qu'à 
trois reprises, et l'une des dispositions 
essentielles du décret, la délibération du 
CIME sur les suites à donner aux évalua- 
tions, est restée lettre morte. Révélaleur 
d'un manque d'intérêt du pouvoir poli- 
tique, cet échec résulte aussi de la diffi- 
culté objective d'articuler le temps de 
l'évaluation et celui de la décision 
politique. 

Seize évaluations ont été menées à 
bien dans le cadre de la procédure de 
1990 : informatisalion de administra- 
tion, réhabilitation du logement social, 
accueil des populations défavorisées dans 
les services publics, insertion sociale des 
jeunes en difficulté, aménagement des 
rythmes scolaires, protection des zones 
humides, action sociale et culturelle en 
faveur des agents de l'État, loi quinquen- 
nale pour l'emploi, prévention des 
risques naturels majeurs, maîtrise de 
l'énergie, politique de la montagne, lutte 
contre le tabagisme et l'alcoolisme, aides 
au logement, aide à la localisation des 
activilés dans les zones de conversion, 
lutte contre la grande pauvreté, mesures 
de prérelraile. 

Créé en 1998, le Conseil national de 
l'évaluation (CNE) reprend les attribu- 
tions méthodologiques du CSE mais 
dispose en.plus du pouvoir de proposer 
des thèmes d'évaluation au Premier 
ministre. De 1999 à 2002, une douzaine 
d'évaluations ont été lancées : préserva- 
tion de la ressource en eau polable, 
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programme nauveatix services-emplois 
jeunes, mesures d'aides aux emplois du 
secteur non marchand, lutte contre le 
sida, sécurité routière, développement 
rural, formation continue des agents de 
l'État, loi contre le tabagisme et Valcoo 
lisme, aide aux très petites entreprises, 
recours aux opérateurs externes en 
malière de politique de l'emploi, fonds 
structurels européens et politiques régio- 
nales, traitement des déchets ménagers, 
transport combiné rail-route. 

Chaque évaluation était conduite 
sous la responsabilité d'une instance 
d'évaluation pluraliste (de quinze à vinyl 
personnes, fonctionnaires, experts ou 
parties prenantes) el donnait lieu àun 
important programme d'études, De 
qualité inégale (d. les avis rendus par le 
CSE et le CNE publiés en annexe des 
rapports), ces évaluations onl eu davan- 
tage d'influence diffuse au sein des admi- 
nistrations que d'effets directs sur les 
décisions politiques. Malgré sa volonté 
de mettre l'évaluation au servire des 
décideurs el d'en raccourcir la durée, le 
CNE n'a guère mieux réussi que le CSE 
à intéresser le gouvemement. Il cesse de 
fonctionner en 2002 à la suite du non- 
renouvellement d'une partie de ses 
mernbres, avant d'être officiellement 
supprimé en 2007. 

À l'actif du bilan, les instances 
d'évaluation ont bien fonctionné comme 
lieux de travail collectif, contribuant à 
faire évoluer les problématiques. 
L'évaluation interministérielle a echoué 
en tant qu'outil d'aide à la décision poli- 
tique, mais elle a démontré sa capacilé 
à rénover le travail administratif 
[Lascoumes et Setbon, 1996]. Enfin, 
l'activité d'animation du CSE, puis du 
CNE (documents methodolociques, 
colloques), a facilité la constitution d'un 
milieu français de l'évaluation. 
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Conseil national de l'évaluation dont les attributions sont à la 
fois politiques et méthodologiques tef. encadré). Conçu dans le 
but de simphfier et de dynamiser la procédure (suppression du 
premier avis méthodologique, renforcement du rôle d'impulsion 
du Commissariat général du Plan) le dispositif de 1998 a buté 
comme celui de 1990 sur les lourdeurs du travail interministé- 
sel, mème s'il a permis de réduire quelque peu les délais entre 
l'initiative politique de l'évaluation ct la remise du rapport (de 
l'ordre de deux ans). Mis en sommeil dès 2002, le CNE est offi- 
ciellement supprimé en 2007. Cette même annee est créé un 
éphémère secrétariat d'État à la Prospective et à l'Évaluation des 
politiques publiques. Si l'on mel a part la RGPP (cf. infra), qui 
s'est peu intéressée aux politiques, il faut attendre 2012 pour 
assister à une relance plus ambitieuse de l'évaluation dans le 
cadre de la modernisation de l'action publique (MAP). 


Évaluation et modernisation de l'État 


La France n'est pas restée à l'écart de la grande vague 
mondiale de réforme administrative, mais force est de recon- 
naître que celle-ci s'y est manifestée sous une forme alténuée. Au 
moins jusqu'en 2007, on ne trouve pas dans les textes officiels 
frangais de plaidoyers vigoureux pour un État plus resserré, il n'y 
est jamais question de réduction des coûts ni d'introduction des 
mécanismes de marché pour dynamiser le service public, Depuis 
la fin des années 1980, les objectifs des plans de modernisa- 
tion de l'État ne s'éloignent guère des grandes priorités affi- 
chées daus la circulaire du 23 lévrier 1989 sur le Renouveau du 
service public : rénovation des relations de travail, amélioration 
du rapport aux usagers, développement de la responsabilité des 
fonctionnaires, développement de l'évaluation. 

Après l'essoulflement de cette politique, une tentative menée 
entre 1995 et 1997 pour repenser l'organisation de l'État à partir 
d'une réflexion sur l’évolution de ses missions (animée par 
l'éphémère Commissariat à la réforme de l'État) tourne court et 
marque un nouvel échec de l'esprit de réforme. En 2000, un 
texte émanant du Comité interministériel de la réforme de l'État 
affiche trois axes qui font écho à la circulaire de 1989 : « Une 
priorité : répondre aux nouvelles attentes du citoyen; une 
exigence : gérer de manière plus transparente el plus efficace ; 
un choix appuyer sur les agents, acteurs de la modernisa- 
tion.» Outil de transparence, d’elficacilé et de responsabilité, 
l'evaluation se situe, au moins en théorie, au croisement de ces 
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différentes préoccupations. Il n'est donc pas surprenant que 
toutes Jes tentatives de relance de la réforme de l'État compor- 
tent un volet évaluation. 

Encore faut-il s'entendre sur le sens des mots « évaluation » et 
« modernisation ». En 2007, le gouvernement lance une révi- 
sion générale des politiques publiques (RGPP), vaste audit des 
administrations réalisé par des équipes mixtes de hauts fonc- 
tionnaires et de consultants placées sous la houlette de l'inspec- 
tion des Finances. L'ensemble des activités et des missions des 
ministères a été passé au crible d'un questionnement rigoureux : 
« Que faisons-nous ? », « Quels sont les besoins et les attentes 
collectives ? », «Faut-il continuer à faire de la sorte ? s», « Qui 
doit le faire ? », « Qui doit payer ? », « Comment faire micux el 
moins cher ? », « Quel scénario de transformation choisir ? » 
L'intitulé RGPP ne doit toutefois pas faire iJusion : la parenté 
est assez lointaine avec la procédure de réexamen néerlandaise 
(cf. infra) ou les opérations analogues lancées au Canada et en 
Suède. Compte tenu des contraintes de temps ct de la démarche 
adoptée, il ne pouvait s'agir d'évaluer rigoureusement dt encore 
moins de responsabiliser les fonctionnaires en les associant à 
l'évaluation des politiques qu'ils sont chargés d'appliquer. La 
RGPP débouche sur un audit d'organisation administrative 
piloté de manière centralisée dans une optique étroitement 
budgétaire. 

Suite au bilan critique tiré par trois inspections générales 
ministérielles [IGA-IGAS-IGF, 2012], le gouvernement: issu des 
élections de 2012 décide l'abandon de la RGPP et le lancement 
d'une politique de modernisation de l'action publique dont les 
objectifs se déclinent selon quatre axes : « Simplifier Faction 
publique », « Mesurer la qualité du service public », « Accélérer la 
transition numérique » et «Évaluer pour moderniser les poli- 
tiques publiques ». Tout en s'inscrivant comme la RGPP dans 
la perspective d'une réduction des dépenses publiques, la MAP 
s'en démarque par la volonté affichée de partir des besoins, de 
responsabiliser les ministères, de miser sur Ja concertation et 
d'évaluer les politiques publiques dans leur globalité (y compris 
ce qui relève de l'action des collectivités territoriales). Dans ce 
cadre sont lancées dès fin 2012 une cinquantaine d'évalua- 
tions, puis douze autres en 2013. Les sujets abordés couvrent 
l'ensemble des domaines de l'action publique. Au plan des 
démarches et des méthodes, ces évaluations se caractérisent par 
l'implication des administrations (le coordonnateur de l'évalua- 
lion est habituellement le directeur en charge de la politique 
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évaluée), l'intégration des phases de diagnostic et d'élabora- 
tion de scénarios de réforme, et la participation des principaux 
acteurs dans les comités de pilotage. Les délais imposés par le 
gouvernement (de six mois à un an pour produire des scénarios) 
réduisent toutefois la portée de la participation et ne permet- 
tent pas, sauf exception, de s'appuyer sur des travaux de 
recherches originaux. Les évaluations sont donc, pour l'essen- 
tiel, des synthèses de travaux existants complétées par des audi- 
tions. Malgré cette limitation, le bilan de l'opération semble 
positif en termes de réformes lancées et d'économies budgétaires 
décidées suite aux évaluations. 


L'entrée en scène de nouveaux acteurs 


L'évaluation parlementaire 


Jusqu'à la réforme constitutionnelle de 2008, le Parlement n'a 
pas joué un grand rôle dans le développement de l'évaluation 
des politiques publiques. L'impact des travaux de l'Office parle- 
mentaire d'évaluation des choix scientifiques et techniques 
(OPECST) n'est certes pas négligeable, mais cet organisme (créé 
en 1982) n'évalue pas les politiques. Au fil des ans, cependant, 
les parlementaires ont manifesté une volonté croissante de 
renforcer leur contrôle sur l'action gouvernementale et l'usage 
des fonds publics. 

À l'initiative de Philippe Seguin (alors président de l'Assem- 
blée nationale), deux lois sont votées en juin 1996 créant deux 
structures communes aux deux assemblées : un Office parlemen- 
taire d'évaluation des lois et un Office parlementaire d'évalua- 
tion des politiques publiques. Cette réforme étant restée lettre 
morte, il est inutile d'en détailler le contenu. Dès 1997, le 
nouveau président de l’Assemblée nationale Laurent Fabius a 
décidé la mise en sommeil des deux offices — prenant acte de 
l'impossibilité de les faire fonctionner avec deux assemblées 
politiquement opposées — au profit d’une mission d'évaluation 
et de contrôle (MEC) relevant uniquement de l’Assemblée natio- 
nale, chargée de contrôler les dépenses de l'État (199%. En 2004, 
le dispositif est complété par la création d'une mission d'évalua- 
tion et de contrôle des lois de financement de la Sécurité sociale 
(MECSS). Le Sénat, de son côté, crée son propre comité d'évalua- 
Lion des politiques publiques le 15 juin 2000. 


A 


Le cas mangas B3 


Dans son premier rapport d'activité, la MEC dresse un constat 
sans appel des carences du travail parlementaire : «Les projets 
et propositions de loi venant en discussion au sein de nolre 
assemblée font rarement l'objet, ex ame, d'une évaluation, les 
notes d'impact devant accompagner les projets de loi restant des 
plus succinctes, quand elles existent. De même, le Parlement ne 
dispose, en général, d'aucune véritable simulation des projets 
de réforme fiscale ou touchant aux prélèvements sociaux qui lui 
sont présentés. [...] Par ailleurs, les lois adoptées font rarement 
l'objet, ex post, d'une évaluation en termes d'efficacité, La 
demande de présentation d'un rapport d'évaluation, destiné à 
faciliter les adaptations des dispositifs législatifs retenus, voire 
conditionnant la reconduction des mesures arrêtées, n'est en 
effet pas systématique. En raison de l'insuffisance d'évaluation 
ex ante et ex post des textes législatifs, l'activité normative des 
parlementaires semble, pour l'instant, largement déconnectée 
de ses implications budgétaires » [AN, 2000]. 

Déconnectés de tout examen factuel des effets de la dépense, 
la discussion et le vote de la loi de Finances se réduisent à de 
purs exercices de style. Passé le vote du budget, le constat reste 
le même : le Parlement exerce peu sa fonction de contrôle de la 
dépense publique. Les conditions de mise en œuvre de la loi de 
finances ne font l’objet d'aucun suivi, bien que les rapporteurs 
spéciaux du Parlement disposent théoriquement d'un pouvoir 
de contrôle « sur pièce et sur place ». 

Pour ses initiateurs, la mise en place de la mission d'évalua- 
tion et de contrôle devait marquer une rupture avec ces 
pratiques. Dans ses premières années de fonctionnement, la 
MEC a fait réaliser de véritables études d'évalualion (politique 
autoroutière, moyens de la police nationale, formation profes- 
sionnelle, aide à l'emploi), mais elle s'est orientée par la suite 
vers des travaux plus conformes à la tradition des rapports 
d'information parlementaires. 

La dernière étape en date de cette conversion du Parlement 
à l'évaluation débute avec la réforme constitutionnelle de 2008. 
La loi du 23 juillet 2008 renforce notablement les attributions 
du Parlement en matière de contrôle de l'action du gouverne- 
ment ct d'évaluation des politiques. La loi du 4 février 2011 
précise les conditions dans lesquelles le Parlement peut faire 
appel à la Cour des comptes dans ce cadre. Suite à cette réforme, 
l'Assemblée nationale s'est dotée d'un Comité d'evaluation ct de 
contrôle des politiques publiques (CEC), doté de moyens signi- 
ficatifs. Ce dispositif n'est pas sans défauts du point de vue des 
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règles de bonne pratique de l'évaluation — questionnement ct 
méthodes peu explicites, non-publication des travaux financés. 
aluations par deux députés apparte- 
nant à la majorité et à l'opposilion marque toutefois une 
volonté de fonder je travail parlementaire sur des diagnostics 
approfondis eCimpartiaux. 


Le pilotage conjoint des év 


Promesses el limites de la TOLF 


L'institutionnalisation de l'évalualion à l'Assemblée nalio- 
nale s'inscrit dans un mouvement plus large de renforcement du 
ròle du Parlement dans le contrôle de la dépense publique, dont 
témoigne également la réforme budgétaire de 2001. À bien des 
égards, cette réforme — portée conjointement par le gouverne- 
ment et le Parlement — est une réactivation des ambitions de 
la REB. Comme dans les années 1970, l'objectif poursuivi est 
d'introduire plus de transparence ct de rationalité dans lalloca- 
tion des ressources publiques. Mais la réforme de 2001 ne se 
limite pas à créer de nouveaux instruments d'éclairage de la 
décision, elle se traduit cette lois par une modification profonde 
des règles de la procédure budgétaire, visant à inscrire de 
manière structurelle la préoccupation des résultats au cœur de 
la discussion du budget au Parlement. Du point de vue de 
l'évaluation, l'innovation majeure cst le vale des crédits par 
missions constituées d'un ensemble de programmes (rappelons 
qu'ils étaient auparavant volés par ministère et par nature de 
dépense). La loi organique relative aux lois de finance (LOLE) 
du 28 juin 2001 prévoit que « les crédits ouverts par les lois de 
finances pour couvrir chacune des charges budgétaires de l'État 
sont regroupés par mission relevant d'un où plusieurs services 
d'un ou plusieurs ministères. Une mission comprend un 
ensemble de programmes concourant à une politique 
publique {...f Un programme regroupe les crédits destinés à 
mettre en Œuvre une action ou un ensemble cohérent d'actions 
relevant d'un même ministère et auquel sont associés des 
objectifs précis, définis en fonction de finalités d'intérêt général, 
amsi que des résultats attendus ct faisant l'objet d'une évalua- 
tion » (art. 7). Par ailleurs, des annexes explicatives relatives à 
chaque programme seront jointes au projet de loi de Jinances. 
On y trouvera notamment : «La présentation des acuons, des 
couts associés, des objectifs poursuivis, des résultats obtenus ct 
attendus pour les années à venir, mesurés au moyen d'indica- 
teurs précis dont le choix est justifié » (art. 51). 
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Après une décennie de mise en œuvre effective de la réforme, 
l'ambition d'éclairer la décision budgétaire par des indicateurs de 
performance s'est révélée largement illusoire. La LOLI ne constitue 
pas en elle-même un mécanisme d'évaluation de l'action publique. 
Un examen rapide des indicateurs de résultats associès aux 
programmes montre que la plupart d'entre eux ne renscignent pas 
sur la pertinence et la réussite des actions et guère plus sur l'effica- . 
cité des services [Bruncetière, 2006, p. 95]. Comme l'avait ihdiqué 
dès 2004 un rapport du Sénat, « la LOLF ne permettra pas de faire 
l'économie d'une véritable institutionnalisation de l'évaluation, 
d'autant que les “publics” de l'évaluation des politiques publiques 
sont, par nalure, plus diversifiés que ceux de la LOLF » [Sénat et al., 
2004, p. 82. 


L'évaluation de la Cour des comptes 


En novembre 2007, à l'occasion du bicentenaire de la Cour 
des comptes, le président de la République a demandé à la Cour des 
comptes d'engager une réflexion collective pour définir ce 
que pourraient être les pouvoirs, les moyens cl l'organisation 
d'un grand organisme d'audit et d'évaluation des politiques 
publiques. Dans d'autres pays (cf. chapitre m), les organismes supé- 
rieurs de contrôle sont des acteurs importants de l'évaluation, 
même si le type d'évaluation qui s'y développe reste le plus souvent 
proche de l'audit. L'une des raisons pour lesquelles la Cour des 
comptes française a tardé à suivre Jeur exemple est le statut de 
magistrat de ses membres, qui fait obstacle à la diversification des 
compétences et des approches méthodologiques. La réforme consti- 
tutionnelle de 2008 (cf: infra) a toutefois incité la Cour à se doter de 
nouveaux moyens et à organiser en son sein une activité d'évalua- 
tion dont les finalités et les méthodes sont clairement distinctes 
de celles du contrôle. Dans ce cadre, depuis 2011, la Cour réalise 
chaque année une demi-douzaine d'évaluations de politiques 


publiques. 


Politiques contractuelles et fonds structurels européens 


Depuis le début des années 1990, plusicurs régions (Bretagne, 
Rhône-Alpes) ont mis en place des comités régionaux pour évaluer 
leurs politiques. La région est une collectivité récente (créée en 
1982) qui intervient surtout dans les politiques de développement 
économique ct social, dans le cadre des. contrats de plan avec l'Etat 
et des fonds structurels européens. Elle est donc au cœur d'une 
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action publique partenariale impliquant plusieurs niveaux de déci- 
sion. Dans ce contexte inédit au regard de la culture politico-admi- 
nistrative française, l'évaluation apparaît comme une nécessité. 
Sous de double timbre du Commissarial général du Plan et de la 
Délégation à l'aménagement du territoire et à l'action régionale 
(Datar, devenue en 2006 la Diact — Délégation interministérielle à 
l'aménagement et à la compétitivité des territoires), la circulaire de 
décembre 1993 institue l'évaluation comme une quasi-abligation 
dans le cadre des contrats de plan État-régions (rebaptisés en 2007 
contrats de projet État-régians). Un mécanisme financier incitatif 
est mis en place, ainsi qu'un dispositif d'encadrement méthodolo- 
gique. Suite à la circulaire, des comités régionaux coprésidés par 
le préfet de région et le président du conseil régional sont créés 
dans toutes les régions françaises. De 1993 à 1998, cent quarante 
évaluations de programmes contractualisés ont été menées à bien 
et le mouvement s'est maintenu, voire amplifié pour la période 
2000-2006. 

De manière quasi simultanée (en application du reglement 
communautaire de juillet 1993), l'évaluation des fonds structurels 
curopéens monte en puissance, donnant une autre impulsion à 
l'évaluation régionale. Les domaines concernés par les fonds struc- 
turels et les contrats de plan se recoupant largement, les deux 
procédures d'évaluation — pourtant mal coordonnées et reflétant 
au départ des conceptions sensiblement différentes de l'évaluation 
et de ses usages — produisent un réel effet de synergie. Bien que le 
dispositif communautaire de gestion des fonds structurels soit mal 
adapté aux caractéristiques administratives de la France (du fait de 
la faible autonomie des régions), ses retombées sont indéniables 
sur le pilotage des politiques de développement socio-écono- 
mique au niveau régional. Le caractère obligatoire de l'évaluation 
contraint les acteurs politiques et administratifs à s'initier à une 
démarche peu développée jusqu'alors. En quelques années, une 
culture de l'évaluation émerge autour d'un réseau de chargé de 
mission des préfectures (au sein des SGAR, sccrélariats généraux à 
l'action régionale) et des services des conseils régionaux. Un 
marché de l'évaluation se développe, dont bénéficient à part égale 
les consultants privés et les centres de recherches publics (univer- 
sités, CNRS). En 2007, pour amplifier les synergies entre les deux 
exercices d'évaluation périodique des politiques de développement 
régional, une circulaire demande une harmonisation des méthodes 
d'évaluation des contrats de projet État-régions et des progranimes 
européens. 
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Les contrats de ville inscrits dans le rythme quinquennal des 
contrats de plan donnent également lieu à une évaluation quasi 
systématique. Dès les années 1980, la politique de la ville avait fait 
l'objet de nombreuses évaluations aux niveaux local, régional et 
national. Parallèlement aux évaluations locales, un comité national 
d'évaluation de la politique de la ville a fonctionné par intermile 
tence à partir de 1991 (commission Belorgey en 1991-1993, comité 
national en 2002-2004). Au cours du XI Plan (1994-1999), environ 
la moitié des deux cent quatorze contrats de ville ont fait l'objet 
d'une évaluation. Les circulaires de novembre 2000, de mai 2006 
(par laquelle les contrats de ville sont rehaptisés CUC contrats 
urbains de cohésion sociale) et de novembre 2010 {prolongation 
des contrats jusque fin 2014) ont confirmé linjonction évaluative, 
Un cadre méthodologique est proposé pour unifier les démarches 
et clarifier leurs objectifs. I s'agit notamment de mieux artit uler la 
prise en comple des objectifs nationaux de la politique de la ville 
et les enjeux propres aux projets locaux. 


Forces et faiblesses de l'évaluation à la française 


Doit-on encore parler d'un retard français ? Si l'on en juge par 
le nombre et la qualité technique des évaluations, la réponse ne 
va pas de soi : les opérations se multiplient et leur niveau méthodo- 
logique s'améliore, mais on voit encore trop peu d'études compa- 
ratives vraiment convaincantes. Du point de vue des retombées 
décisionnelles de l'évaluation et de son intégration au fonctionne- 
ment des organisations publiques, force est de reconnaitre qu'un 
long chemin reste à parcourir. Pour prendre la mesure des progrès 
accomplis et de certaines faiblesses récurrentes, on peut s'appuyer 
sur une série de diagnostics effectués à différents moments de 
l'histoire institutionnelle de l'évaluation. 


Une succession de bilans critiques 


Le diagnostic de Nioche et Poinsard en 1983. — Le premier 
bilan du développement de l'évaluation en France est celui qu'ont 
réalisé Jean-Pierre Nioche et Robert Poinsard en 1983 à l'occasion 
du colloque organisé par le ministère des Finances ct lé ministère 
de la Fonction publique [Nioche et Poinsard, 1984, p. S|. 1 eoin- 
cide avec la fin de l'expérience de RCB et le lancement officiel de 
la réflexion sur l'évaluation dans l'administration. L'une des leçons 
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majeures de ce bilan cst que l'évaluation ex post s'est développée 
parallèlement à la RCB à partir du début des années 1970. Nioche 
el Poinsard recensent près de trois cents études ayant pour objet 
l'évaluation a posteriori des effets des politiques publiques, réalisées 
pour la plupart au cours des cinq années précédent leur enquête. 
Dans l'ensemble, le constat était néanmoins critique. Au regard des 
praliques internationales de référence, les principales insuffisances 
relevées étaient les suivantes : 

= l'évaluation n'est pas reconnue comme une activité spéci- 
fique, distincte de la recherche en sciences sociales ct du contrôle ; 

— le champ de l'évaluation est très éclaté, ce qui se manifeste 
par la variété des profils professionnels et la diversité des concep- 
tions de l'évaluation mises en œuvre. Pour certains, l'évaluation se 
distingue mal du contrôle ou de l'audit, tandis que pour d'autres 
cle englobe toutes les formes d'études d'aide à la décision. Corréla- 
livement, il se produit peu d'échanges et de capitalisation d'expé- 
riences entre les services où organismes ; 

— la qualité méthodologique des évaluations est inégale. Les 
outils mis en œuvre sont généralement rudimentaires ct les 
démarches suivies peu formalisées (les auteurs notent l'absence 
quasi totale de protocoles expérimentaux). Les évaluations ont un 
caractère plus descriptif que comparatif ou explicatif, ct les tenta- 
lives pour mesurer entifiquement l'impact des politiques restent 
rares. La rédaction des rapports d'évaluation pèche par manque de 
rigueur et d'objectivité ; 

+= les rapports entre les commanditaires, les responsables de 
l'action évaluée ct Jes évaluateurs ne sont pas clairs. Le mode de 
décision dominant est l'autosaisine. D'une manière générale 
l'évaluation est mal insérée dans l’action politique et 
administrative. 

Les principaux problèmes pointés par Nioche et Poinsard n'ont 
rien perdu de leur acuité. Globalement, l'évaluation demeure une 
activité faiblement identifiée, insuffisamment systématisée et dont 
les résultats sont sous-ulilisés. i 


La situation dans les années 1990. — Un nouveau bilan effectué en 
1990 |Trosa et Perret, in CSE, 1992] souligne l'intérêt croissant des 
administrations pour l'évaluation. Dans la quasi-totalité des mini- 
stères, la Jonction évaluative est désormais identifiée en tant que 
telle, sous la forme d'unités administratives spécialisées, isolées ou 
raflachées à des services d'études aux attributions plus vastes, ou 
encore de comités spécialisés. Ce nouveau diagnostic confirme le 
déficit d'identité de l'évaluation : éclatement du champ, 


hétérogénéi 
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é des finalités et des objets de l'évaluation, absence de 
références méthodologiques communes, absence de transfert 
d'expérience d’un secteur à un autre, manque de formalisme et de 
rigueur. Le flou des démarches rend peu perceptible la sper ité de 
l'évaluation : - Pratiquée dans le contexte du contrôle, l'évalua- 
tion désigne parlois un simple recueil de constats el d'bserva- 
tions assortis de jugements à caractère intuitif sur les résultats cf 
les objectifs de la politique. Dans le contexte des études el 
recherches, l'évaluation se réduit trop souvent à une recherche sur 
certains aspects d'une politique à partir d'un questiontiement sans 
rapport direct avec les préoccupations des acteurs et des décideurs » 
ICSE, 1992, p. 31]. En positif, nous avions noté la volonté affichée 
par les corps d'inspection et la Cour des comptes de mieux identi- 
fier l'évaluation comme une pratique distincte du contrôle, néc 
sitant des procédures et des méthodes spécifiques. 

Le bilan effectué par le Sénat en 2004 montre à la fois le chemin 
parcouru ct la persistance des problèmes. On assiste à ün réel déve- 
loppement des pratiques au niveau national, dont témoigne la 
multiplication des structures dont les missions incluent l'évalua- 
tion d'actions publiques. Le rapport souligne toutelois que « l'inté- 
gration des préoccupations d'évaluation dans les ministères est 
restée extrêmement décentralisée et improvisée ». On observe une 
prolifération d'organismes sectoriels mettant en œuvre des concep- 
tions hétérogènes de l'évaluation, d'où résulte un manque de lisi- 
bilité de la notion d'évaluation qui nuit à son inscription dans les 
processus de décision. Par ailleurs, le développement de l'évalua- 
tion au sein de l'administration ne constitue pas une réponse suffi- 
sante car «les conditions mêmes dans lesquelles l'évaluation des 
politiques publiques est réalisée par les services de l'exécutif 
comportent trop d’entorses aux principes d'une évaluation plura- ` 
liste et transparente ». Les rédacteurs en concluent que l'institution- 
nalisation reste la clef d'une utilisation plus large des résultats des 
évaluations. Or, le défaut d'intérêt des gouvernements successifs à 
conduit à l'échec des tentatives des années 1990 (ef: infia). Pour y 
remédier, il est primordial d'ouvrir l'évaluation sur le Parlement 
et la société civile, de telle sorte que «ses “publics” naturels soient 
totalement impliqués » dans le choix des thèmes ct des questions 
posées. Concrètement, le rapport propose de créer, d ‘une part, des 
commissions d'évaluation pluralistes dans les grands domaines de 
l'action publique et, d'autre part, une haute autorité de l'évaluation 
chargée de garantit la qualité méthodologique et la déontologie des 
évaluations (rôle analogue à celui de l'ex-CSE) [Sénat ct al., 2004, 

p. 114, 127 ct 206]. 
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Tendances récentes. — Depuis 1999, les congrès annuels de la 
Société française d'évaluation permettent de prendre la mesure 
d'un développement continu des pratiques, malgré des faiblesses 
persistantes, L'un des indices en est le nombre croissant de consul 
tants spécialisés dans l'évaluation. Ce sont eux qui, avec les fonc- 
tionnaires nationaux et territoriaux, animent le milicu français de 
l'évaluation. implication du monde académique, en revanche, est 
encore notoirement faible, malgré l'augmentation du nombre de 
cursus universitaires incluant une formation à l'évaluation. Au plan 
qualitatif, on note également de réels progrès. Unc étude réalisée 
en 2009 à partir d'un échantillon de 40 évaluations terminées 
entre 1993 ct 2008 fournit un diagnostic plausible sur ce point. 
Elle conclut à une amélioration globale de la qualité des évalua- 
lions, tant en termes de processus el de méthode que de réponses 
fournies aux questions posées par le commanditaire, avec toutefois 
des faiblesses persistantes : caractère souvent peu stratégique des 
questions traitées, utilisation insuffisante des outils quantitatifs el 
faiblesse de l'analyse en termes d’efficience [Mouterde, 2009]. 


Une culture administrative peu favorable à l'évaluation 


Malgré les progrès récents dont on vient de faire état, il reste des 
faiblesses structurelles dont il convient d'analyser les csuses. 

Lorsqu'on compare Ja situation française à celle des pays de réfé- 
rence (Amérique et Europe du Nord), un constat s'impose avec 
force : l'évaluation peine à trouver sa place dans le fonctionne- 
ment de l'État ct, au-delà de quelques déclarations de principe, 
l'idée même d'évaluation est mal comprise et peu soutenue par 
l'opinion et le personnel politique. Cette incapacité à intégrer 
l'évaluation dans la pratique administrative ordinaire n'est pas due 
à un déficit de compétences. Dès 1985, un rapport du ommissa- 
riat général du Plan peut affirmer qu'« il n'existe pas de goulot 
d'étranglement technique pour le développement de l'évaluation 
en France» [Deleau, 1986, p- 51. Pour comprendre la situation 
française, il Faut s'interroger sur les spécilicités de notre culture poli- 
tico-auministrative, et notamment sur la manière dont ont été 
pensés les rapports entre Le pouvoir politique et l'expertise. 


Le poids de la «science étatique ». —- L'État français, à travers ses 
grandes écoles, ses corps d'ingénieurs, d'économistes et d'inspec- 
teurs, s'est depuis longtemps posé en producteur de connaissances 
sur la saciété. La lecture de Tocqueville montre que ce trait remonte 
à l'Ancien Régime : « Le gouvernement central ne se bornait pas à 
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venir au secours des paysans dans leur misère ; il prétendait leur 
enseigner l'art de s'enrichir, les y aider et les y lorcer au besoin. 
Dans ce but, il faisait distribuer de temps en temps pu ses inten- 
danis el ses subdelégnés de petits écrits sur l'art agricole, promettait 
des primes, entretenait à grand frais des pépinières dont il distri- 
buait les produits » [1991, p. 1081. On pourrait également rappeler 
l'expédition de Napoléon en Égypte, entouré de quelques-uns des 
plus grands savants de son époque : l'État moderne à la française 
fonde son prestige ct sa légitimité sur la science. 

Jean Leca à bien analysé le modèle français des ~ scit 
étatiques» et son incompatibilité avec L'esprit de l'évaluation. La 
critique de Leca porte notamment sur le fait que l'aulorité de 
l'expertise officielle la dispense d'expliciter ses méthodes et le point 
de vue d'où sont portés ses jugements : «Des causes sant dési- 
gnées, des bilans sont dressés, des pratiques sont admonestées, des 
conseils de réforme sont donnés sans que l'on sache très bien 
comment cette opération de connaissance à été lancée, comment 
elle a été instruite, à quel tempo et avec qui, sur quels protocoles 
d'enquête et d'argumentation elle se fonde » fin RFAP, 1993, 
p. 190]. L'autorité de ce qui vient de l'État rencontre une autre 
tendance qui, sans être propre à la France, semble y être particuliè- 
rement marquée : la valorisation de la dimension personnelle de 
l'expertise. Un rapport demandé à une personnalité de renom aura 
toujours plus de poids que le travail collectif d'une commission 
composée d'experts et de fonctionnaires peu connus. Or, le recours 
à l'évaluation sc justifie par le parli pris inverse : celui de procédu- 
raliser l'expertise et de fonder sa valeur sur la transparence et la 
rigueur des méthodes. 

Toujours selon Leca, les sciences étatiques adoplent de manière 
insuffisamment critique le regard de l'État sur la société : « Elles 
voient la société du point de vue de l'État, comme une série de 
problèmes posés à ce dernier, découpés par ses appareils et traités 
par des normes que les particuliers devraient respecter J.J]. La 
société concrète devient un ensemble de “questions” — par 
exemple, les “questions sociales” — ou un ensemble de secteurs ou 
d'objets de “politiques” économiques, sociales, urbaines, judi- 
ciaires. » De ce fait, elles s'intéressent davantage au fonctionnement 
interne de l'État (normes, moyens pratiques, jeux d'acteurs) qu'à 
la compréhension des systèmes sociaux qui sont l'objet de son 
action. On peut penser que l'autorité el les travers de la science 
étatique sont une conséquence logique du mode de sélection des 
élites politico-administratives françaises. Le système méritocratique 
est porteur d'une confusion entre le savoir et le pouvoir : ceux qui 
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cent fes responsabilités publiques ont été choisis parce qu'ils 
sont les plus experts et ce qui est labellisé par l'État hénélicie en 
général d'une présomption de crédibilité. 

En réaction a cette domination de Ja science étatique dans la 
sphère du pouvoir, les sciences sociales académiques À l'exception 
notable de l'économie) ont été marquées par une tradition critique, 
voire dénonciatrice, attachée à l'autonomie du pouvoir intellectuel 
et refusant toute compromission politique. Cause cu consé- 
quence, l'activité théorique a toujours été mieux considérée que 
la recherche appliquee fondée sur le patient recueil des données 
empiriques (non sans lien avec le fait que l'accès aux dennées est 
largement contrôlé par l'État via l'Insee). Contrairement à d'autres 
pays, ta participation à une évaluation n'a jamais été reconnue 
comme une activité noble pour des chercheurs en sciences sociales. 


Un manque d'intérêt pour le contrôle des dépenses publiques. 
— La principale conclusion des comparaisons internationales 
demeure cependant la suivante : les pays où l'évaluation est 
reconnue ct largement utilisée sont ceux dont la culture politique 
donne un grand poids aux intérêts des contribuables. Or, tel n'est 
pas le cas de la France. Comme le relevait le premier rapport de 
la mission d'évaluation et de contrôle (MEC), la dépense publique 
jouit dans notre pays d'une tolérance exceptionnelle : 

« [La dépense publique] ne suscite encore qu'assez peu de débats 
au sein de l'opinion publique, contrairement à ce qui se passe dans 
les États du nord de l'Europe. Cet état d'esprit s'explique, sans 
doute, par la structure même de notre système fiscal, relativement 
indolore”, puisqu'il repose largement sur des prélèvements indi- 
rects. En effet, seul un foyer sur deux est soumis à Vimpôt sur le 
revenu. Dès lors, les contribuables ont le sentiment de lirer profit 
de la dépense publique, sans en supporter le coût» JAN, 20001. 

Quelle que soil ln validité de cette explication, le fait est que les 
français ne demandent guère de comptes à leurs gouvernants sur 
le bon usage de l'argent public. Là se trouve l'une des principales 
causes de la faible utilisation décisionnelle de l'évaluation. 


Des indices de changement. — Les analyses qui précèdent éclairent 
utilement le passé, mais sont-elles toujours pertinentes ? Le dyna- 
misme de l'évaluation dont on a fait élat plus haut est sous- 
tendu par des évolutions culturelles qu'il ne faut pas sous- stimer. 
L'implication des corps d'inspection et de la Cour des comptes 
dans l'évaluation montre que l'administration comprend de micux 
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en mieux la nécessité d'un regard extérieur et d'une pluralisation 
des modes de connaissance, 

Concernant le contrôle des dépenses, certains sienes donnent 
à penser que les dificultés budgétaires ct Pexasperation fiscale 
rendent les Français plus attentifs à la manière dont est géré et 
utilisé l'argent public. Sans perdre sa spécificité, la culture politica- 
adininistralive française pourrait être à l'avenir moins retive à 
l'évaluation. 


v / L'évaluation, 
clé d'une nouvelle gouvernance 


Mme si son impact sur les décisions et le débat public est 
rarement à la hauteur des attentes, l'évaluation fait désormais 
partie de la vie administrative et du fonctionnement des insti- 
tutions démocratiques. Si les responsables politiques portent 
une attention croissante à l'évaluation, ce n'est pas parce qu'ils 
ont décidé d'être raisonnables et vertueux, mais parce que leur 
environnement s'est modifié. L'évaluation s'impose en effet 
comme l’une des seules réponses possibles à un ensemble de 
défis qui appellent de nouvelles formes de légitimation des déci- 
sions ct de mobilisation des énergies. 

Pour des raisons qui apparaîtront clairement au fil de ce 
chapitre, il est commode de relier ces défis à la notion de 
« gouvernance ». Issu du management, ce terme a pris récemment 
une grande place dans le vocabulaire de la science politique. On 
peut définir schématiquement la gouvernance comme la capacité 
d'une société à se gouverner au moyen d'institutions, de systemes 
de représentation, de processus de négacialion, de décision et de 
contrôle, etc. En dépit du flou qui l'entoure parfois, le recours à 
cette notion reflète la prise de conscience d'une mutation bien 
réelle : dans les sociétés complexes comme les nôtres, le gouver- 
nement en tant que fonction objectivement exercée n'esl plus 
assignable aux seules instances de pouvoir démocratiquenient 
désignées à cet effet. C’est une propriété systémique résultant de 
l'activité conjointe d'une multitude d'organismes, d'institutions 
et de mécanismes juridiques. On peut l'illustrer par plusicurs faits 
et tendances manifestes : juridicisation de la vie sociale, décentra- 
lisation, multiplication des autorités administratives indépen- 
dantes à qui sont déléguées des tâches de régulation dans 
différents domaines de la vie collective (Commission nationale 
informatique el libertés, Conseil supérieur de l'audiovisuel, ete), 
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émergence d'instances supranalionales chargées d'édicter 
des normes dans un nombre toujours croissant de domaines 
(urcau international du travail, Organisation mondiale du 
commeres, cte). Liée à la complexitication des fonctionnements 
sociaux ct à l'approfondissement de la culture démocratique, cette 
évolution crée de nouveaux besoins d'information, de compte 
rendu et de coordination auxquels l'évaluation semble en mesure 
d'apporter des réponses au moins partielles. 


Les nouveaux défis de l’action publique 


tes gouvernements lace à de nouvelles diflicultés 


Comment répondre à la demande sociale ? — Partout dans le 
monde, les gouvernements ont à résoudre une équation impos- 
sible : comment faire face à l'addition des demandes en tout 
genre adressées à l’État et à l'aggravation de plusieurs grands 
problèmes (insécurité, exclusion sociale, dégradation de l’envi- 
ronnement) tout en donnant satisfaction aux classes moyennes 
qui aspirent à une baisse des impôts? La réponse apportée par 
le new public management le management par la performance 
thit pour target and get rewarded) [PoHitt, 2013, p. 351] — a ample- 
ment montré ses limites. L'action publique ne se résume pas à 
la production de biens standardisés. Les administrations sont 
quotidiennement confrontées à des problèmes et demandes 
complexes qui ne se laissent pas réduire à quelques objectifs 
chiffrés. Répondre à la demande sociale est d'autant plus difficile 
que celle-ci teud à se morceler, affaiblissant toutes les formes de 
médiation et de représentation (sont en cause ici l'éclatement du 
monde salarial, l'apparition de nouvelles formes d'inégalités, la 
fragmentalion de la culture et des valeurs, la diversification des 
modes de vie...). Sans oublier les conflits de plus en plus aigus 
entre les objectifs économiques, sociaux ct environnementaux, 
qui peuvent souvent s’interpréter comme des conflits d'intérêts 
entre le présent et le futur. Circonslance aggravante, la segmen- 
tation fonctionnelle des administrations publiques complique le 
traitement de problèmes qui, le plus souvent, ont un caractère 
transversal (la toxicomanie, pour ne prendre qu'un exemple, 
concerne les administrations sanitaires et sociales, la police et la 
justice). p 

Une autre conséquence de la complexité sociale est la crise 
dn + paradigme balistique » de l'action publique. Or: entend par 
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cette expression le fait qu'une action publique, comme un tir 
d'artillerie, vise une cible et définit une trajectoire déterministe 
pour Vattcjudre : le gouvernement agit en fonction de réponses 
de la société qu'il anticipe en se fondant sur une modélisation 
simpliste des comportements. Exemple : si on réduit les charges 
sociales, les entreprises vont embaucher, ete. Or, dans les 
sociétés complexes, de telles prédictions s'avèrent souvent 
fausses. Cette imprévisibilité résulte pour une part de ce que 
certains sociologues ont appelé la « réflexivilé sociale » 
Giddens, 2000]. Plus instruits et mieux informés, les acteurs 
sociaux ne réagissent pas mécaniquement aux incitations et 
sollicitations de la puissance publique. Ils ont une vision suffi- 
sante du système social pour prendre en compte ritionnelle- 
ment ses rétroactions prévisibles dans leurs décisions. Cette 
observation est à la base de la théorie économique des antici- 
pations rationnelles, qui constitue l'un des fondements de la 
critique néolibérale de l'interventionnisme économique. 
Complexité ct réflexivité sociale ont une conséquence évidente 
pour l’action publique : elles génèrent un accroissement de 
l'incertitude sur les conditions de mise en œuvre et les résultats 
de J'action publique. i 


Crise des idéologies, de l'autorité et du management public. 
— Cette crise se manifeste de deux manières dans la relation 
gouvernants-youvernés. Premièrement, on ne fait plus 
confiance a priori sur la base de valeurs affichées {plus personne 
n'est prêt à considérer qu'une politique est bonne parce qu'elle 
s'affiche de droite ou de gauche), mais on demande des résultats. 
Deuxièmement, les acteurs sociaux supportent de moins en 
moins bien le pilotage centralisé et autoritaire des politiques 
publiques qui les concernent, et font de moins en moins 
confiance aux experts — surtout lorsqu'ils incarnent ou parais- 
sent incarner une « vérité officielle ». Comme le résume Pollitt : 
« [Les gouvernements] doivent faire plus avec moins, pour un 
public plus sceptique et moins déférent » [1998, p. 223]. 
L'évaluation peut les aider à relever ce défi en augmentant la 
légitimité de leurs décisions. 

Au moment même où sa tâche se complique, l'État est 
confronté à la difficulté de faire évoluer ses structures et son 
organisation. Le statut des fonctionnaires et les lourdeurs d'une 
structure hiérarchique immuable rendent presque impossible 
une véritable politique des ressources humaines. Au fil des 
rapports sur la réforme administrative reviennent les mêmes 
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constats : l'État ne sait pas moliver les agents, reconnaitre et 
valoriser leurs compétences, les inciter à se former ni les affecter 
aux tâches correspondant à de vrais besoins collectifs. Les 
contradictions s'aggravent entre l'évolution de la société et les 
fonctionnements administratifs, concourant à démobiliser les 
fonctionnaires : contradiction entre l'élévation du niveau de 
formation initiale et la raréfaction des possibilités de promo- 
tion interne, contradiction entre la dévalorisation de l'aulorité 
et Ja rigidité de l’organisation hiérarchique, contradiction entre 
l'expansion du marché et du rôle de l'argent et l'éthique du 
service public, contradiction entre l'accroissement des exigences 
d'épanouissement personnel et le caractère routinier et peu effi- 
cace du travail administratif. L'accumulation de ces contradic- 
tions rend crucial l'enjeu de la motivation et de la mobilisation 
des agents. Croire que l'on va résoudre celte crise par des méca- 
nismes d'incitation reposant sur l'évaluation individuelle et la 
rémunération au mérite relève d'une incompréhension de l'etlros 
de la fonction publique. Les fonctionnaires aspirent avant tout à 
donner un sens collectif à leur travail, ce qui passe par une 
appropriation par chacun du lien entre son activité profession- 
nelle et les grands enjeux de la société, L'évaluation peut y 
contribuer. 


Passer du « faire » au « faire-faire ». — Incapable de répondre 
directement à la demande sociale, l'État abandonne progres 
vement son rôle de producteur direct de biens et services. Lin 
nombre croissant d'activités d'intérêt public sont privatisées ct 
placées sous le contrôle d'autorités publiques de régulation 
distinctes de l'administration. Cette externalisation prend 
parfois la forme d'une «agencisalion », qui consiste à sous- 
traiter la mise en œuvre de politiques publiques à des agences 
autonomes liées à l'État par des contrats d'objectifs. Selon la 
doctrine de la nouvelle gestion publique (cf. chapitre m), tout 
ensemble cohérent d'activités spéciliques doit être confié à une 
agence. Dans les pays qui sont allés le plus loin dans cette voie, 
des agences ont été créées pour gérer les prisons, assurer le verse- 
ment des prestations sociales, produire les statistiques natio- 
nales, gérer le service civil, ete. Le passage du faire au faire-faire 
ne va cependant pas sans difficultés : il appelle à tout le moins 
la mise en place de procédures formalisées de compte rendu, de 
mesure des performances et d'évaluation. ` 
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L'évaluation, une pratique à usages multiples 


Il est habituel d'opposer deux grands types d'évaluation, 
correspondant à deux conceptions contrastées de ses méthodes 
et de ses finalités : l'évaluation récapitulative à dominante quan- 
titative, centrée sur la mesure des résultats et dont'la visée natu- 
relle est l'aide à la décision, et l'évaluation /ormalive (ou 
«endo-formative») visant d'abord à augmenter les compé- 
tences et l'implication des acteurs de la politique, centrée sur les 
processus ct recourant davantage aux méthodes qualitatives et 
participatives. 

Cette polarité est bien réelle, mais elle ne rend pas compte 
de Ia diversité des démarches d'évaluation et de leurs objectifs, 
affichés ou non. En pratique, les évaluations produisent des 
effets à différents niveaux et répondent simultanément à 
plusieurs finalités : aide à la décision budgétaire, contribution à 
l'enrichissement du débat public, compte rendu, aide au pilo- 
tage, médiation, apprentissage, mobilisation, elc., Sans oublier 
l'apport purement cognitif de la recherche évaluative. 


Quelle est la forme d'évaluation la plus utile ? 


L'évaluation est plus directement utilisable lorsqu'elle porte 
sur des programmes. — Qu'il s'agisse de décider sur des bases 
plus rationnelles, de rendre des comptes où de développer 
l'apprentissage collectif, l'évaluation remplit d'autant mieux son 
rôle qu'elle porte sur des programmes. Dans la mesure où ils 
sont conçus pour atteindre des objectifs précisément identifiés, 
les programmes se prêtent mieux à l'évaluation que les poli- 
tiques. Tout programme étant mis en place pour un temps déter- 
miné, l'inscription de l'évaluation dans son cycle de vie est 
beaucoup plus claire. Lorsque l'évaluation intervient aux dilfé- 
rentes phases de conception, mise en œuvre et bilan (évalua- 
tions ex anle, concomitante et ex post), dans un processus 
continu de formulation et d'ajustement des objectifs, de rationa- 
lisation des moyens et d'amélioration des conditions de mise 
en œuvre, l'apprentissage organisationnel induit par l'évalua- 
tion inclut le processus de décision lui-même. 


Le dilemme participation/impartialité. — Privilégier les usages 
internes de l'évaluation conduit logiquement à choisir une 
démarche participative. En revanche, si le but principal est. 
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d'éclairer les décideurs ou le grand public, il est préférable 
d'avoir recours à des études scientifiques objectives, menées par 
des experts independants. On pourrait en rester s CE constat 
d'une complémentarité entre différentes formes d'évaluation 
répondant à des finalités différentes, d'autant plus que, dans de 
trés nombreux cas, l'évaluation est un exercice mixte qui 
concilie les deux approches. 

Wun aure côté, on ne doit pas sous-cstimer les enjeux théo- 
riques et pratiques du débat récapitulatif/formalif. Il reflète en 
partie l'opposition classique entre Une épistémologie positiviste 
qui met l'accent sur ja recherche de faits objectifs (et si possible 
quantifiés) et une épistémologie constructiviste pour qui la seule 
réalité qui compte est celle qui peut Pire sens pour les acteurs. 
Mais il est préférable de aborder d'un point de vue pragma- 
tique. Dans son livre sur l'évaluation participative, Gaëlle Baron 
analyse les multiples résistances que peut susciter une évalua- 
tion au sein des organisations concernées. Même lorsque sa 
credibilitė est reconnue ct qu'elle n'est pas ressentie comme un 
controle déguisé, l'influence de l'évaluation sur le processus de 
décision vst toujours puissamment concurrencée par celle des 
groupes de pression. S'inspirant de Patton, elle note que vle 
acteur te plus important pour l'utilisation des évaluations cst 
la présence dans l'organisation d'une ou plusieurs personnes 
motivées pour mere en Œuvre les changements proposés ». Elle 
en tire la conclusion que la participation des acteurs de la poli- 
tique à son évaluation constitue le meilleur gage de sa prise en 
compte et de son utilisation IBaron, 2001, p. 89]. 

En sens inverse, Pollitt voit dans l'évaluation participative un 
double risque d'abandon de la rigueur scicnbfique et de manipu- 
lation de l'évaluation par des coalitions d'acteurs dont les 
intérêts particuliers n'ont aucune raison de coïncider avee 
l'intérêt général [Pollitt, nr CNE, 2000]. Un point semble acquis : 
le choix d'une démarche doit tenit compte de la nature de 
l'action à évaluer et du contexte politique, Comme le note 
Sylvie Trosa, l'évaluation parlicipalive est particulièrement 
adaptée lorsque trois conditions sont réunies ; «te nombre des 
parties prenantes est limité; un certain consensus CXISIE sur les 
objectifs à atteindre ; des règles du jeu d'égalité des parties 
prenantes sont acceptées » ICNF, 2000, p. 1371. En revanche, 
une évaluation s'adressant à Taworité politique et visant à 
préparer des décisions stratégiques risquant d'affecter la silua- 
tion de certains porteurs d'enjeux doit s'appuyer sur des 
données objectives et des analyses impartiales, sans s€ laisser 


L'EVALUATION, CLÉ DUNE ROUMEULE couvrananet IOF 


piéger par les faux consensus ou, à l'inverse, paralyser par les 
conflits de valeurs ou d'intérêt. 

Un autre niveau de contradiction entie différents objectits 
d'évaluation pour Une même politique est pome par Segese 
worih, qui met en doute la compatibilité de l'objectif de mana- 
gement stratépique d'une action au sein d'un ministère ct 
l'objectif de rendre des comptes au Parlement Mayne et al, 
1992, p. 309|. De fait, tout semble indiquer que l'évaluation 
parlementaire se développera parallèlement à l'évaluation admi- 
pistrative et qu'elle produira des effets d'une autre nalure. 

D'autres travaux mettent en avant l'enjeu dela confiance 
[Schwartz el Struhkamp, 20071. Selon la manière dont elle est 
conduite, Vévaluation peut contribucr à augmenter le niveau de 
confiance des membres d'une organisation — confiance entre 
pairs où envers Ja hiérarchie el les autorités de tutelle — ou, 
au contraire, à créer un climat de défiance. Or, la confiance, 
parce qu'elle facilite la circulation de l'information, est un 
facteur crucial de la performance. Gette observalion-vaut 
d'ailleurs plus largement pour le système social constitué par les 
acteurs d'une politique publique. La confiance qui s'établit entre 
eux cst souvent déterminante pour la réussite de cette politique. 


Retour sur la notion d'apprentissage organisationnel. — Loin 
de viser seulement l'évaluation participative an sens strict du 
terme, la notion d'apprentissage organisationnel permet de 
réunifier les différentes finalités de l'évaluation, en jetant un 
pont entre l'esprit de la recherche scientifique, celui de la démo- 
cralie et la dimension formative de l'évaluation. Comme on l'a 
vu ci-dessus, la notion d'apprentissage peut en effel s'appliquer 
à l'amélioration progressive des processus décisionnels. 

À cet égard, la conception traditionnelle des rapports entre la 
connaissance el l'action (ce qu'an pourrait appeler le modèle de 
la rationalisation par l'expertise) est critiquable du double point 
de vue des exigences de la science et de la nature de l'activité 
politique: Comme le note Jean Leca, Vidée qu'une connais- 
sance « exacte, adéquate et appropriée », mise à disposition de 
tous les acteurs sociaux, conduirait automatiquement aux solu- 
tions les plus satisfaisantes ne peut plus être soutenue lin RFAP, 
1993, p. 185]. Or, c'est toujours selon ce schémaide pensée que 
sont élaborées les politiques (au Parlement autant que dans les 
cabinets ministériels). Les problèmes à résoudre sont définis d'en, 
haut en se fondant sur des théories d'action préconslituées, Sans 
tenir compte de la liberté de jugement des acteurs sociaux, de 
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leur connaissance directe des problèmes, de leur capacité à inflé- 
chic le sens des politiques dont ils sont les intermédiaires ou 
les cibles. Quels que soient sa finalité et son caractère plus ou 
moins participatif, l'évaluation est fondée sur l'idée que toute 
intervention sur la société présente un caractère expérimental ct 
que ses effets sont incertains. Les théories d'action sont toujours 
des ébauches provisoires à tester, dont la plupart seront aban- 
données ou modifiées. EL ce travail d'ajustement n'est jamais le 
seul fait du prince : c’est un processus systémique impliquant un 
grand nombre d'acteurs {responsables politiques administratifs 
de tout niveau, professionnels, leaders d'opinion). Les points de 
vue ct savoirs pratiques des acteurs sociaux — parmi lesquels un 
grand nombre participent de faclo au système de décision pris 
dans un sens large — constituent à la fois la matière première 
et la réalité qu'elle cherche à modifier. Enfin, et ce n'est pas le 
moins important, ce processus de reformulation des référentiels 
de d'action n'est pas séquentiel mais continu ct interactif : les 
politiques sont repensées et infléchies en continu, tant par ceux 
qui sont chargés de les mettre enŒ@tvre que par ceux qui en sont 
les bénéficiaires putatifs ICE, 2001]. 

Cette manière de concevoir l'évaluation est en phase avec 
l'idée de gouvernance. Loin de se limiter à une nouvelle configu- 
ration des pouvoirs, celle-ci exprime surtout le caractère inte- 
ractif du fonctionnement de la société et des institutions dont 
clle s'est dotée. Le rapport hiérarchique entre gouvernants et 
gouvernés, sans disparaître, tend à perdre sa clarté face à la 
démultiplication des lieux de pouvoir et des mécanismes 
d'influence. Les évolutions dont cherche à rendre compte le 
terme de gouvernance ne sont pas sans analogie avec celles qui 
affectent les entreprises (le passage de l'entreprise pyramidale à 
l'entreprise réseau). Concevoir l'évaluation comme un méca- 
nisme d'apprentissage collectif prend évidemment tout son sens 
dans une telle perspective. Les tinalités de l'évaluation peuvent 
être réinterprélées à la lumière du concept de gouvernance, sans 
qu'il soit nécessaire de renoncer aux justifications décisionnelles 
et managériales qui lui sont habituellement données. 
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L'impact de l'évaluation à l'épreuve des faits 


Un impact difficile à évaluer 


Peut-on évaluer l'impact de l'évaluation ? Une telle ambi- 
tion se heurte à tous les problèmes techniques de l'évaluation 
car, comme le note Lascoumes, « l'évaluation doit être consi- 
dérée comme un programme particulier d'action publique. 
À chacun de ses niveaux s'observent des formes de dispersion 
spécifiques, ambiguïté des objectifs du projet, attentes éclatées, 
hétérogénéité des matériaux et des pratiques, multitude des 
produits » {Kessler ef al., p. 2531. Compte tenu du nombre 
d'évaluations réalisées chaque année, on ne Manque pas de 
success stories. Sur le site de la Banque mondiale, sont ainsi 
présentées huit études de cas d'« évaluations influentes » 
réalisées dans différents pays au début des années 2000, mais 
rien ne permet d'en tirer des enseignements généraux. On 
dispose par ailleurs de quelques études de synthèse, un peu plus 
anciennes (cf. encadré). En dépit de l'inévitable imprécision des 
données collectées, elles permettent d'avancer que l'évaluation 
est, au moins dans certains pays, un outil opérationnel de 
gouvernance publique. Comme on l'a vu dans un précédent 
chapitre, l'impact décisionnel de l'évaluation est encore plus fort 
dans les organisations internationales (cf. l'encadré ci-après 
relatif aux politiques agricoles communautaires). 

L'évaluation a-t-elle une influence sur les décisions relatives 
à l'allocation des ressources publiques ? En dépit d'intentions 
maintes fois affichées, on peut penser que cette influence 
demeure limitée par le caractère politique de la discussion 
budgétaire. Les exemples les plus probants d'utilisation budgé- 
taire directe de l'évaluation concernent le Canada, la Nouvelle- 
Zélande ct l'Australie. Selon une enquête menée par le ministère 
des Finances australien, 77 % des nouvelles propositions de poli- 
tiques soumises par les ministres « dépensicrs » figurant au 
budget 1994-1995 ont été directement influencées par des 
conclusions d'évaluations (23 % seulement en 1990-1991) : « En 
1994-1995, environ 500 millions de dollars australiens de choix 
d'économie, soit 65 % du total, ont été réalisées sous l'influence 
des conclusions d'évaluation » ĮMacKay, in CNE, 2000, p. 174]. 
Dans le même esprit, le National Audit Office britannique 
évalue chaque année les sommes qu'il fait économiser aux 
contribuables britanniques (13 livres économisées pour chaque 
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Trois études sur les suites données aux évaluations 


1) Donnéce relatives à 150 évaluations canadiennes réalisées de 1984 À 1988 
(analysées par l'Office du contrôleur général) : 


-~ Amélioration de la mise en œuvre 50 % 
- Changement structurel 17 % 

— Confirmation du programme 8% 

=- Ajustement des ressources 18 % 

-— Usage procédural 
{élément obligatoire d'une procédure) 34 % 
Aucun résultat 4% 

2) Données relatives à 192 évaluations canadiennes (analysées par Bachelor, en 

1990) 

— Terminaison du programme 6% 

-- Réforme 31% 
Modification 86 % 

— Confirmation 16 % 

-~ Meilleure compréhension 49 % 

=- Aucun résultat 4% 

3) Ponnées relatives à 42 rapports d'évaluation aux Pays-Bas (1989-1991) (on 
nombres de rapports) 

— AUCUN usage 22 
Appui de la politique 4 
Modification de la politique 16 
modifications mineures (8) 
modifications importantes (3) 
modifications de différents types (5) 

-= Aucun changement organisationnel 14 

= Changements organisationnels 6 
changements mineurs (2) 
changements importants (2) 
changements de différents types (2) 

— Contribution à la préparation du budget 10 


Source : d'après Segsworth et Kordes, ii Mayne el al. 11992]. 


livre dépensée par le NAO, d'après son rapport 2012). On peut 
toutefois s'interroger sur l’objectivité de ces estimations. 

La seule étude synthétique dont on dispose émane de l'OCDE 
{Curristine, 20081. À partir de données déclaratives portant sur 
28 pays, elle montre que l'évalualion est assez largement utilisée 
au cours des discussions budgétaires, mais que son impact direct 
sur Jes décisions reste limité (il est rare que l'on mette fin à un 
programme pour la scule raison qu'une évaluation a démontré 
qu'il était peu efficace). 
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Les suites décisionnelles 
de l'évaluation des politiques 
agricoles communautaires 


Plusieurs évaluations importantes ont 
été menées à bien en 1999-2000 à 
ta demande de la Direction générale 
chargée de l'agriculture (distribution 
de lait aux écoliers, programmes 
alimentaires à visée sociale, aide à 
l'agriculture dans les îles de la mer 
Égée, politiques dans les secteurs du 
sucre, du blé dur, des viandes ovines 
et caprines...). La plupart de ces 
évaluations ont été suivies d'effet et 
leurs conclusions ont largement 
inspiré les décisions communaulaires 
récentes dans les domaines consi- 
dérés, comme en témoigne cel 
extrait du projet de règlement 
communautaire du 16 mai 2001 
relatif à l'organisation commune des 
marchés dans les secteurs des viandes 
ovine el caprine : 

» À la lumière d'une évaluation 
exécutée par la Commission, il est 
proposé de procéder à une réforme 
de l'organisation commune des 
marchés dans le secteur des viandes 
ovine et caprine [...]. L'étude 
d'évaluation a examiné l'incidence de 
l'organisation commune des marchés 
sur le revenu des producteurs du 
secteur concerné et ses effets sur la 
production ainsi que sur les zones 
défavorisées et sur l'environnement. 
L'étude avait pour objel principal 
d'analyser l'instrument central de 


l'organisation commune des marchés 
qu'est la prime laux producteurs 
d'ovins et de caprins}, en particulier 
son mode de calcul (paiement 
compensatoire) PL la limitation des 
versements individuels aux produc- 
teurs (le “quota”), sous les angles 
suivants : 

— son incidence sur le revenu des 
producteurs ; A 

—- son incidence sur le volume el 
la qualité de la production de viande 
ovine el caprine ; 

—— son incidence sur les zones 
rurales et sur l'environnement. 

L'étude conclul que la prime à 
permis aux pradneleurs d'avins et de 
caprins de preserver leur position 
relative (hormis peut-être en France), 
mais n'a pas suffi pour combler 
l'écart qui existe entre les exploila- 
tions d'ovins et les autres exploita- 
tions. L'imperlection du mode de 
calcul de la prime est mise en 
évidence, tant pour ce qui est du 
relevé des prix qu'en ¢e qui concerne 
le calcul du costlicient technique. Le 
rapport conclut que, si les différents 
éléments utilisés pour le calcul sont 
corrects, globalement le système qui 
aboutit au paiement’ compensatoire 
est cependant inefficace du fait de la 
complexité du mécanisme Ï 

Les principales propositions de 
modification du régime interessent la 
prime. Il est notamment proposé de 
la remplacer par un paiement forfai- 
taire, d'un montant fixe et 
prévisible. (AA 


Les retombées les plus importantes sont lentes, dilluses et indirectes 


L'évaluation étant avant tout un processus d'apprentissage 
collectif, il ne faut pas s'attendre à ce que ses rctoinbées les plus 
durables soient aisément observables. Au niveau international, 


toutes les études disponibles sur Timp: 
gnent son caractère indirect et diffus. Loin de se limi 


act de l'évaluation souli- 
ter à la prise 
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en compte des conclusions consignées dans un rapport, 
l'influence d'une évaluation emprunte de multiples canaux, 
pendant ct après son déroulement. Le rapport de synthèse 
transmis au commanditaire n'est d'ailleurs pas toujours Ie 
vecteur le plus efficace des enseignements de l'évaluation 
IBemelmans-Videc ct Conner, in Mayne et al., 1992]. Comme 
le résume Patton, « les évaluations sont utiles d'une manière qui 
ne se laisse pas appréhender par une focalisation étroite sur la 
mise en œuvre des recommandations ou la prise de décision 
concrète. La participation à un processus d'évaluation affecte les 
manières de penser au sujet du programme ; elle peut clarifier les 
objectifs, renforcer (ou affaiblir) les engagements individuels, et 
réduire les incertitudes ; le processus est susceptible de stimuler 
la compréhension, avec des conséquences qui peuvent ne pas 
être évidentes à court terme » [latton, 1986]. 

Dans le même sens, des études américaines ont montré que 
les décideurs ont rarement une connaissance directe des 
rapports d'évaluation. Lorsqu'ils s'approprient leurs conclu- 
sions, c'est souvent par des voies indirectes : « Différentes 
commissions, clubs et organes de réflexion, ainsi que des consul- 
tants, se servent de résultats d'évaluations ct réinjectent ceux-ci 
dans leurs papiers, qui à leur tour atteignent les décideurs. Si 
les résultats apparaissent dans les mass médias, les décideurs ne 
peuvent pas les ignorer» (C.-F. Weiss, intervention orale au 
premier congrès de la Société française de l'évaluation en 1999). 
De ce point de vue, l'évaluation participe des ts diffus de 
l'accumulation des connaissances sur la société. Mème en 
l'absence de mécanisme liant l'évaluation à la décision budgé- 
taire, il arrive souvent qu'une évaluation — ou parfois une suite 
d'évaluations aux résultats convergents — prépare les esprits à 
l'intlexion d'une politique ou à la prise en compte d'un 
problème émergent. Reste que, dans le cas de la France, l'impact 
des évaluations dans l'opinion est peu évident. Malgré les efforts 
faits pour diffuser les rapports et informer la presse de leurs 
conclusions, les évaluations interministérielles n'ont qu'un 
faible écho, même lorsqu'elles traitent de questions d'actualité 
(emploi, risques naturels majeurs). 

La spécificité de l'évaluation par rapport aux autres formes 
d'études réside cependant dans le fait qu’elle vise d'abord à 
modifier les représentations des acteurs les plus directement 
concernés et les plus à même d'améliorer la politique par leurs 
pratiques et leurs décisions. Ce type d'impact de l'évaluation est 
Pun des plus prometteurs. Au niveau régional, l'évaluation des 
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politiques partenariales facilite une formulation commune des 
enjeux d’un territoire par les administrations et collectivités 
concernées. Dans le cadre des contrats de projet entre l'Etat ct 
les régions, on voit peu à peu se généraliser « les pratiques régu- 
lières et communes de création de cahier des charges, d'appels 
d'offres, d'animation de comités de suivi, d'audition des experts, 
de discussion des résultats devant les services » :[CNE, 2000, 
p. 127]. Lorsque cela se produit, il en résulte des avancées signifi- 
catives dans la coopération entre les services de l'État et ceux de 
la région. 


Des usages pas toujours vertueux 


Mentionnons pour finir que, lorsque l'évalualion est prise en 
compte, ce n’est pas toujours de manière honnête et transpa- 
rente. Comme toute forme de connaissance, elle n'est nulle- 
ment à l'abri d'une instrumentalisation par le politique. Comme 
le reconnaît Maurice Baslé : « Au jeu de l'évaluation et de la 
gouvernance, tous les acteurs n'ont pas le même poids. Var 
exemple, certains ont le pouvoir de décider des politiques et des 
règles du jeu de l'évaluation. D'autres n'ont pas ie pouvoir. Il 
faut certainement un peu de crédulité pour aceepter l'hypo- 
thèse et entrer dans la croyance que l'évaluation est un moment 
hors du jeu habituel » [Baslé, in Baslé et Guignard-1lamon, 
2001, p. 10[. 

L'évaluation est souvent mobilisée de manière purement 
rhétorique pour renforcer la crédibilité, la légitimité et l'autorité 
du discours des pouvoirs publics, Il est toujours payant de reven- 
diquer sa « bonne foi évaluative », mais celle-ci n'est souvent 
que de façade. Une fois l'évaluation menée à bien, l'approba- 
tion politique de ses résultats ne signifie pas nécessairement que 
ceux-ci seront utilisés. Cette duplicité est au cœur des mauvais 
usages de l'évaluation. Comme le note l'OCDE : « Il arrive 
qu’elle ne soit conduite que pour légitimer des décisions poli- 
tiques déjà prises. On supprime quelquefois des constatations 
gênantes ou politiquement sensibles ou l’on utilise les résultats 
de manière sélective » [OCDE, 1997]. Sans forcément céder à ce 
genre de tentation, les commanditaires d'évaluation ont 
souvent pour arrière-pensée de communiquer plus efficace- 
ment sur une politique qu'ils estiment u priori benne et dont ils 
veulent faire connaître la réussite. Une commande d'évaluation 
aux mains des administrations conduit à des biais dans le choix 
des politiques à évaluer. Dans le cadre du dispositif français. On 
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a pu ainsi observer la fréquence d'évaluations demandées par 
des administrations de mission faiblement dotées en moyens 
humains et financiers ayant en charge une politique interminis- 
iérielle (securité routière, lutte côntre la toxicomanie, menage 
ment des rythmes scolaires), dans le but évident de valoriser leur 
action et d'accroître leur influence sur les grandes administra- 
tions de moyens. Plus banalement, les hommes politiques 
peuvent être tentés d'invoquer la nécessité de l'évaluation dans 
le seul but de renforcer leur image de rigueur ct d'honnêtlcté 
intellectuelle. Pour reprendre une heureuse expression de Pollin, 
l'évaluation joue parfois le rôle d'un «badge de modernité ». 

L'irréalisme de « l'hypothèse du décideur public unique agis- 
sant pour le bien-être de la collectivité » JAN, 2000, p. 37] 
constitue un argument de poids en faveur d'une évaluation 
participative conduite par et pour les acteurs directement 
concernés. Parmi tous les protagonistes du système, ils sont les 
mieux placés pour s'approprier utilement des informations 
produites. Reste que, poussé à l'extrême, ce aisonnement 
conduirait à nier la possibilité d'éclairer la décisior, politique par 
l'évaluation, ce qui ne peut être raisonnablement soutenu. De 
plus, l'évaluation ne se laisse pas si facilement instrumenta- 
liser. IE n'est jamais anodin pour une antorité politique de s'y 
engager car, quelles que soient ses intentions de départ, dlle ne 
peut tricher longtemps avec les résultats sans nuire à sa propre 
crédibilité. 

Bien que le constat d'une prise en compte limitée ct biaisée 
des résultats se retrouve dans lous les pays, il est raisonnable de 
penser que le bon usage de l'évaluation peut être favorisé par 
une institutionnalisation adéquate de la fonction, comme tend 
à le prouver l'exemple de l'Union européenne. Une définition 
plus précise du rôle de l'évaluation réduit la tentation pour les 
gouvernements d'en ignorer où d'en manipuler les conclusions. 


Conclusion / Une activité en quête d'identité 


Au terme de ce parcours, il n'est pas inutile de revenir sur la 
question de la définition de l'évaluation évoquée dès introduc- 
tion. Bien qu'elle soit l'objet de fortes attentes et qu'elle 
connaisse un développement récl, l'évaluation pâtit d'une 
«identité multiple el contestée » (OCDE, 1997[. Elle n'a pas 
encore trouvé une place stable et reconnue dans le paysage 
scientifique et administratif. Loin d'être purement spéculative, 
cette question conditionne les stratégies de consolidation et 
d'institutionnalisation des activités d'évaluation, À cet égard, on 
peut hésiter entre trois modèles : 

_ Je modèle de la discipline scientifique : l'évaluation 
comme science de la mesure des effets économiques et sociaux 
de l'intervention publique ; : 

— Je modèle de la profession : l'évaluation comme pratique 
d'un corps de professionnels spécialisés se reconnaissant dans 
un ensemble de valeurs et de règles éthiques et méthodulo- 
piques. Ce modèle est illustré par le développement des associa- 
tions professionnelles (à l'exemple de la récente Société Française 
de J'évalualion) ; 

— le modèle institutionnel : l'évaluation comme ensemble de 
dispositifs et de règles procédurales, imposant l'utilisation de la 
connaissance sociale dans les procédures de décision et le mana- 
gement des services publics. 


Évaluation et sciences sociales : corps de méthodes 
ou théorie spécifique 7 


À ses débuts, l'évaluation pouvait être définie comme la 
scicore de la mesure des effets de l'action publique. Elle est 
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d'ailleurs souvent enseignée dans des départements de « mesure 
et d'évaluation » dans les universités nord-américäines. Depuis 
les années 1980, la situation a évolué et l'évaluation est 
désormais au carrefour de toutes les sciences sociales, D'un autre 
point de vue, elle peut être vue comme une source de connais- 
sances substantielles sur les politiques publiques, leurs méca- 
nismes d'action et conditions d'efficacité. Considérée ainsi, elle 
constitue la branche empirique de l'analyse des politiques 
publiques [Cook, in CSE, 1996b]. 


Une démarche qui favorise la pluridisciplinarité 


Parce qu'elle ne se contente pas de juxtaposer ies question- 
nements et les apports des différentes disciplines, l'évaluation 
fournit un modèle pour une intégration pluridisciplinaire dont 
la nécessité est de plus en plus largement reconnue. Son apport 
en la matière est triple ::1) en donnant la priorité aux ques- 
tions pratiques sur les questions théoriques, l'évaluation fournit 
aux chercheurs travaillant dans différentes disciplines un terrain 
de confrontation neutre vis-à-vis des paradigmes disciplinaires ; 
2) parce qu'elle s'interroge en permanence sur ses méthodes ct 
le statut des connaissances qu'elle mobilise, elle peut susciter 
un travail de clarification sur la portée respective des différents 
paradigmes ; 3) elle pose enfin à toutes les disciplines la question 
de leur utilité sociale. 


Les enjeux épistémologiques de l'évaluation 


Le développement de l'évaluation a été marqué par un débat 
récurrent sur les méthodes, la validité des connaissances el leur 
adéquation aux besoins de la société. I a vu s'opposer, sans 
surprise, une posture positiviste qui défend l'obicctivité de la 
démarche scientifique et une posture constructiviste qui met 
l'accent sur le fait que toute connaissance est une construction 
sociale |Guba ct Lincoln, 1987]. Le débat n'est pas près d’être 
tranché, mais l'évaluation fournit l’occasion d'en préciser les 
termes. La réflexion méthodologique oblige en eiet à dévoiler 
et clarifier les imbrications complexes entre la connaissance 
objective (fondée sur des informations vérifiables et des raison- 
nements logiquement cohérents) et les opérations de jugement 
dans lesquelles elle est toujours « encastrée » (les temps de la 
problématisation, du questionnement et de l'interprétation 
normative). Aux États-Unis, ces questions sont activement 
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débattues dans le milieu de l'évaluation (on peul y associer les 
noms de Scriven, Patton, Cook, Rossi, Chen, House, etc., 
cf: notamment Chen [1990)). Par ce biais, le développement de 
l'évaluation ne devrait pas rester sans incidence sur la rétlexion 
que les chercheurs en sciences sociales mènent sur leurs 
pratiques. Pour aller à l'essentiel, la démarche d'évaluation mel 
en question l'autonomie revendiquée du chercheur dans la défi- 
nition de ses objets et méthodes de recherche : 

«L'utilisation de la connaissance sociale dans l'éclairage de 
l'action collective se heurte fréquemment à son manque de 
crédibilité et à une absence de consensus sur les problématiques 
qui l'inspirent. Des choix sont nécessaires pour délinir des objets 
d'étude, bâtir des systèmes d'information et qualifier des obser 
vations, mais leur légitimité est toujours susceptible d'être mise 
en cause. La structuration académique des différentes disci- 
plines scientifiques exerce une régulation de fait sur celte acli- 
vité normalive des chercheurs en instituant des modes de 
questionnement et d'argumenlation scientifiquement légitimes. Mais 
cette forme de régulation de l'activité scientifique a l'inconvé 
nient de rendre difficile l'interdisciplinarité (que l'on pense à 
a difficulté de faire dialoguer les approches économiques, socio- 
logiques, historiques et anthropologiques du problème de 
l'emploi). Quoi qu'il en soit, l'évaluation a pour elfet de substi- 
tuer à ce mode de régulation disciplinaire une régulation institu- 
tionnelle de la constitution des objets de recherche, offrant, 
peut-être, dans certaines circonstances, de meilleures chances à 
l'approche pluridisciplinaire des problèmes sociaux complexes » 
[Perret, in CSE, 1997, p. 309]. 


Le métier d'évaluateur 


Dans tous les pays, le milieu de l'évaluation révèle une grande 
diversité de statuts (universitaires, consultants, membres des 
corps d'inspection et de services d'études de l'administration), 
de formation et d'attache disciplinaire, de compétences tech- 
niques et d'expertise. Non sans lien avec leurs attaches proles- 
sionnelles, disciplinaires et sectorielles, les évaluateurs n'ont pas 
tous les mêmes conceptions de la nature ct du rôle de l'évaluu- 
lion. La question de l'unité du milieu n'a cessé de se poser 
depuis les débuts de l'évaluation et elle est encore fréquemment 
débattue dans les associations d'évaluateurs. On a vu plus haut, 
que les problèmes de méthode rencontrés par les évaluateurs 
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Standards du Joint Committee for Educational Evaluation 


Les standards d'utilité ont pour but de garantir que l'évaliation répondra aux 
besoins d'information de ses utilisateurs putalifs. 

Les standards de faisabilité ont pour but de garantir qu'une évaluation sera 
réaliste, prudente el économe. 

Les standards d'intégrité ont pour bul de garantir que l'évaluation sera 
conduite dans le respect de la légalité et de l'éthique et en tenant compte, de 
manière adéquate, du bien-être des personnes impliquées dans l'évaluation ou 
concernées par ses résultats. 

Les standards de précision ont pour but de garantir que l'évaluation produira 
et utilisera une information techniquement adéquate sur les caractéristiques 
aéterminantes pour la valeur ou le mérite du programme évalué, 


transcendent les disciplines et les domaines d'application el l'on 
ne s'étonnera pas que, comme l'observe Cook, « l'intérêt pour 
les enjeux méthodologiques est une source d'unité potentielle 
pour des professionnels qui travaillent dans des Jomaines 
d'application variés et qui ont été formés dans des ‘lisciplines 
variées » [CSE, 1996b]. Les débuts de l'évaluation ont été 
dominés par la question de la validité des méthodes quantita- 
tives. L'enjeu principal est désormais l'adéquation des tech- 
niques de recherche aux questions posées et aux besoins 
d'informalion des commanditaires. 

À côté de la figure du méthodologue, on a vu émerger une 
autre conception de l'évaluateur comme médiateur et calalyseur 
du changement dans les organisations. À la limite, l'évaluateur 
est moins un expert qu'un facilitateur dont la mission consiste 
à aider l'instance d'évaluation à se poser les bonnes questions et 
à choisir les bonnes méthodes pour y répondre [Plante, in CGP, 
1990]. Dans cette conception de l'évaluation comme interven- 
tion dans les processus de changement, les exigences éthiques et 
procédurales deviennent fondamentales. Cette conception 
hybride de la professionnalité de l'évaluation se reflète dans les 
standards professionnels élaborés par les associations d'évalua- 
leurs. Ceux-ci comportent souvent une double dimension de 
principes déontologiques s'appliquant à la pratique des évalu: 
teurs el de standards de qualité méthodologique pour les évalua- 
tions. Les standards les plus connus et les plus influents sont ceux 
du Joint Committee for Educational Evaluation (cf encadré). La 
Société française de l'évaluation a pour sa part adopté en "2006 
une charte de l'évaluation bâtie autour de sept principes : 
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pluralité, distanciation, compétence, respect des personnes, trans- 
parence, opportunité, responsabilité ISFE, 2006]. 


L'évaluation comme mécanisme institutionnel 


Une autre manière de définir l'évaluation consiste à la consi- 
dérer comme un mécanisme institutionnel permanent, une 
extension des procédures existantes de contrôle et de compte 
rendu. Quand on interroge des acteurs du domaine sur les 
leviers du développement de l'évaluation, ils citent presque tous 
le rôle des incitations et contraintes à caractère réglementaire. 
Avant d'être comprise comme une opportunité ou un besoin, 
l'évaluation est perçue comme un devoir, une pratique plus où 
moins imposée. En France, plusieurs formes d'institutionnalisa- 
tion coexistent : mécanismes incitatifs (fonds national de 
l'évaluation, circulaire instituant l'évaluation dans les contrats 
de plan État-région), obligation réglementaire (londs struc- 
turels européens), pouvoir d'aulosaisine de la Cour des comptes. 
L'institutionnalisation de l'évaluation est liée à son caractère 
politique et à la nature publique de ses enjeux : sans négliger 
la portée des codes éthiques, on ne peut s'en remettre au libre 
jeu de l'offre ct de la demande pour faire émerger une évalua- 
tion utile à la collectivité. Comme l'indique l'OCDE, « il est 
généralement reconnu qu'un certain degré d'institutionnalisa- 
tion est nécessaire pour que les évaluations jouent leur rôle dans 
le management public. Un cadre institutionnel est nécessaire, 
pour favoriser la réalisation d'évaluations de bonne qualité et 
leur utilisation » [OCDE, 1997]. Dans une perspective plus poli- 
tique, le Sénat soutient que « l'institutionnalisation de l'évalua- 
tion des politiques publiques doit être l'occasion d'un 
approfondissement démocratique » [Sénat et al., 2004, p. 2061. Si 
l'on veut éviter que l'évaluation devienne un simple instrument 
de communication, d'autopromotion ou, pire, de manipulation 
politique, elle doit être soumise à des mécanismes qui garantis- 
sent que les questions les plus pertinentes seront posées, qu'il 
y sera répondu honnêtement et que les résultats seront rendus 
publics. 

Aucun des trois registres que l'on vient d'évoquer — scienti- 
lico-méthodologique, professionnel èt institutionnel -— n'est 
suffisant pour détinir l'évaluation : son identité combine ces 
trois logiques. Ce caractère hybride explique la difficulté de 
donner à l'évaluation une place stable et reconnue dans le 
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champ des pratiques scientifiques et administratives : on a faci- 
lement tendance à la rabattre sur des notions plus simples à 
appréhender comme la science, l'expertise, le contrôle ou la 
médiation. Mais celte complexité fait aussi son intérêt. Les 
débats autour de l'évaluation des politiques publiques touchent 
à des questions aussi diverses que le statut de la connaissance 
sociale, l'avenir de la démocratie et la modernisation de l'État. 
lls ont de quoi satisfaire aussi bien un intérêt intellectuel pour 
la méthodologie et l’épistémolagie des sciences sociales qu'une 
aspiration citoyenne à œuvrer pour un gouvernement plus elfi- 
cace, plus responsable et plus transparent. C'est ce qui explique 
qu'un nombre croissant de chercheurs, d'experts et de fonction- 
naires s'y éngagont avec passion. 


Repères bibliographiques 


Pour la signification des sigles 
dans les renvois à la bibliographie, se 
reporter à la liste des sigles en fin de 
volume. 


Assemblée nationale, Rapport 
d'information n°2599 présenté 
par M. Didier Migaud en 
conclusion des travaux d'une 
mission d'évaluation et de 
contrôle, 3 octobre 2000. 

RaNNERIEE A, Duro E, GLEN- 
Nester R. et Koruan D., « Impro- 
ving immunization coverage in 
rural India. A clustered rando- 
mized controlled evaluation of 
immunization campaigns with 
and without incentives », British 
Medical Journal, vol. 340, 
n? 2220, 2010. 

Barrier J.-C. ” Intergovernmental 
evaluation : balancing stake- 
holders’ expectations with 
enlightenment objectives ? », 
Evaluation, octobre 1999. 

Baron G., Évalualion, participation, 
apprentissage dans l'action publique, 
L'Harmattan, Paris, 2001. 

BASE M., « L'évaluation territoria- 
lisée des politiques publiques en 
France : orgar tion, constat et 
problèmes spé ifiques », in Actes 
ilu congrès de la Société française 


de l'évaluation, Marseille, 
juin 1990, miméo, juin 2000. 

Basté M. et GUIGNARD-HAMON C. 
(dir.), Évaluation et gouvernance, 
actes des deuxièmes journées fran 
çaises de l'évaluation, Société 
française de l'évaluation, 2001. 

Bouaurr R., JArGER M. el SAINSAU 
wru L, Les Défis de l'évaluation en 
action sociale et medica-sociale, 
Dunod, laris, 2007, 

Brest Pa, « The power of theories ol 
change », Stanford Sodai Inova 
tion Review, printemps 2010. 

Bruneriène J.-R «Les indicateurs de 
la LOLF : une occasion de débat 
démocratique ? », Revue française 
d'administration publique, NN, 
2006. 

Bussuan W., Accompagner et mettre ù 
profit avec succès les évaluations des 
mesures étatiques, guide de 
réflexion, Georg SA, Genève, 
1995. 

Canen D.T. et SYANLLY a Expe 
rimental and Quasi- perimental 
Designs for Research, Rant 
McNally College Publishing Co, 
Chicago, 1903. 

Cavi M. Kocan M. el SMF R.. 
Output and Performance Meastue 
ment in Government, The State or 
the Art, Kingsley, Londres, 1990. 


